PuLID | Penyematan Wajah yang Akurat untuk Teks ke Gambar

Apa itu PuLID?

PuLID (Pure and Lightning ID customization) adalah metode baru untuk kustomisasi identitas (ID) tanpa tuning dalam model pembuatan gambar berbasis teks. Ini bertujuan untuk menyematkan ID spesifik (misalnya wajah seseorang) ke dalam model teks-ke-gambar yang telah dilatih tanpa mengganggu kemampuan asli model. Ini memungkinkan pembuatan gambar dari orang tertentu sambil tetap bisa mengubah atribut, gaya, latar belakang, dll. menggunakan petunjuk teks.

PuLID menggabungkan dua komponen kunci:

1. Cabang "Lightning T2I" yang dengan cepat menghasilkan gambar berkualitas tinggi yang dikondisikan pada ID hanya dalam beberapa langkah denoising, bersama dengan cabang difusi standar. Ini memungkinkan perhitungan kehilangan ID yang akurat untuk meningkatkan kesetiaan wajah yang dihasilkan.
2. Kerugian alignment kontras antara jalur Lightning T2I dengan dan tanpa kondisioning ID. Ini menginstruksikan model tentang cara menyematkan informasi ID tanpa mencemari kemampuan mengikuti petunjuk dan pembuatan gambar asli model.

Cara Kerja PuLID

Arsitektur PuLID terdiri dari cabang pelatihan difusi konvensional dan cabang Lightning T2I yang baru:

1. Di cabang difusi, PuLID mengikuti proses pelatihan difusi standar dengan denoising iteratif. Kondisi ID dipotong dari gambar pelatihan target.
2. Cabang Lightning T2I memanfaatkan metode sampling cepat terbaru untuk menghasilkan gambar berkualitas tinggi yang dikondisikan pada petunjuk ID hanya dalam 4 langkah denoising, dimulai dari kebisingan murni.
3. Di dalam cabang Lightning T2I, dua jalur dibangun - satu dikondisikan hanya pada petunjuk teks, yang lain dikondisikan pada ID dan petunjuk teks. Fitur UNET dari jalur ini diselaraskan menggunakan kerugian kontras:
   • Kerugian alignment semantik memastikan respons model terhadap petunjuk teks serupa dengan dan tanpa kondisioning ID. Ini mempertahankan kemampuan mengikuti petunjuk asli model.
   • Kerugian alignment tata letak mempertahankan konsistensi tata letak gambar yang dihasilkan sebelum dan sesudah penyisipan ID.
4. Cabang Lightning T2I memungkinkan perhitungan kehilangan ID yang akurat antara penyematan wajah yang dihasilkan dan penyematan ID yang sebenarnya, karena menghasilkan wajah keluaran yang bersih dan tanpa kebisingan. Ini meningkatkan kesetiaan ID yang dihasilkan.

Cara Menggunakan ComfyUI PuLID

Menggunakan alur kerja ComfyUI PuLID untuk menerapkan kustomisasi ID ke model melibatkan beberapa parameter kunci di node "Apply PuLID":

"Apply PuLID" Input yang Diperlukan:

• model: Model difusi teks-ke-gambar dasar untuk dikustomisasi dengan ID spesifik. Ini biasanya model yang telah dilatih sebelumnya seperti Stable Diffusion.
• pulid: Bobot model PuLID yang dimuat, yang menentukan cara informasi ID dimasukkan ke dalam model dasar. Berkas bobot PuLID yang berbeda dapat dilatih untuk memprioritaskan kesetiaan ID atau mempertahankan gaya pembuatan asli model.
• eva_clip: Model Eva-CLIP yang dimuat untuk mengkodekan fitur wajah dari gambar referensi ID. Eva-CLIP menghasilkan penyematan fitur wajah yang bermakna.
• face_analysis: Model InsightFace yang dimuat untuk mengenali dan memotong wajah dalam gambar referensi ID. Ini memastikan hanya fitur wajah yang relevan yang dikodekan.
• image: Gambar referensi atau gambar-gambar yang menggambarkan ID spesifik untuk dimasukkan ke dalam model. Beberapa gambar dari identitas yang sama dapat disediakan untuk meningkatkan penyematan ID.
• method: Memilih metode penyisipan ID, dengan opsi "fidelity", "style" dan "neutral". "fidelity" memprioritaskan kemiripan maksimum dengan referensi ID meskipun kualitas pembuatan menurun. "style" fokus pada mempertahankan kemampuan pembuatan asli model dengan ID yang lebih rendah kesetiaannya. "neutral" menyeimbangkan keduanya.
• weight: Mengontrol kekuatan penyisipan ID, dari 0 (tidak ada efek) hingga 5 (sangat kuat). Default adalah 1. Bobot yang lebih tinggi meningkatkan kesetiaan ID tetapi berisiko mengesampingkan pembuatan asli model.
• start_at: Langkah denoising (sebagai persentase dari 0 hingga 1) untuk mulai menerapkan kustomisasi ID PuLID. Default adalah 0, memulai penyisipan ID dari langkah denoising pertama. Dapat ditingkatkan untuk memulai penyisipan ID lebih lambat dalam proses denoising.
• end_at: Langkah denoising (sebagai persentase dari 0 hingga 1) untuk berhenti menerapkan kustomisasi ID PuLID. Default adalah 1, menerapkan penyisipan ID hingga akhir denoising. Dapat dikurangi untuk menghentikan penyisipan ID sebelum langkah denoising terakhir.

"Apply PuLID" Input Opsional:

• attn_mask: Gambar masker grayscale opsional untuk mengontrol secara spasial di mana kustomisasi ID diterapkan. Area putih dari masker menerima efek penyisipan ID penuh, area hitam tidak terpengaruh, area abu-abu menerima efek parsial. Berguna untuk melokalisasi ID hanya ke area wajah.

"Apply PuLID" Output:

• MODEL: Model input dengan kustomisasi ID PuLID diterapkan. Model yang dikustomisasi ini dapat digunakan di node ComfyUI lainnya untuk pembuatan gambar. Gambar yang dihasilkan akan menggambarkan ID sambil tetap dapat dikendalikan melalui petunjuk.

Menyesuaikan parameter ini memungkinkan penyetelan halus penyisipan ID PuLID untuk mencapai keseimbangan yang diinginkan antara kesetiaan ID dan kualitas pembuatan. Secara umum, bobot 1 dengan metode "neutral" menyediakan titik awal yang andal, yang kemudian dapat disesuaikan berdasarkan hasilnya. Parameter start_at dan end_at memberikan kontrol lebih lanjut kapan ID berlaku dalam denoising, dengan opsi untuk melokalisasi efek melalui attn_mask.

Untuk informasi lebih lanjut, silakan kunjungi github