PuLID | Metin-ile-Görüntü için Doğru Yüz Gömme

PuLID Nedir?

PuLID (Pure and Lightning ID customization), metin-ile-görüntü oluşturma modellerinde ayar gerektirmeyen kimlik (ID) özelleştirme için yeni bir yöntemdir. Amacı, belirli bir kimliği (ör. bir kişinin yüzü) önceden eğitilmiş bir metin-ile-görüntü modeline ekleyerek modelin orijinal yeteneklerini bozmadan görüntüler oluşturmaktır. Bu, belirli bir kişinin görüntülerini oluştururken, metin komutları kullanarak öznitelikleri, stilleri, arka planları vb. değiştirme yeteneğini korur.

PuLID iki ana bileşeni içerir:

1. ID'ye şartlandırılmış yüksek kaliteli görüntüleri birkaç denoising adımında hızla üreten bir "Lightning T2I" dalı ve standart difüzyon dalı. Bu, oluşturulan yüzün doğruluğunu artırmak için doğru bir ID kaybı hesaplamayı sağlar.
2. ID şartlandırması ile ve onsuz Lightning T2I yolları arasındaki karşıt hizalama kayıpları. Bu, modelin ID bilgisini modelin orijinal komut takip etme ve görüntü oluşturma yeteneklerini bozmadan nasıl ekleyeceğini öğretir.

PuLID Nasıl Çalışır

PuLID'in mimarisi, geleneksel bir difüzyon eğitim dalı ve yenilikçi Lightning T2I dalından oluşur:

1. Difüzyon dalında, PuLID iteratif denoising'in standart difüzyon eğitim sürecini takip eder. ID şartı, hedef eğitim görüntüsünden kırpılır.
2. Lightning T2I dalı, saf gürültüden başlayarak sadece 4 denoising adımında ID komutuna şartlandırılmış yüksek kaliteli bir görüntü oluşturmak için son hızlı örnekleme yöntemlerini kullanır.
3. Lightning T2I dalında, yalnızca metin komutuna şartlandırılmış ve hem ID hem de metin komutuna şartlandırılmış iki yol oluşturulur. Bu yolların UNET özellikleri karşıt kayıplar kullanılarak hizalanır:
   • Anlamsal hizalama kaybı, modelin metin komutuna verdiği yanıtın ID şartlandırması ile ve onsuz benzer olmasını sağlar. Bu, modelin orijinal komut takip etme yeteneğini korur.
   • Düzen hizalama kaybı, ID eklenmeden önce ve sonra oluşturulan görüntü düzeninin tutarlılığını sağlar.
4. Lightning T2I dalı, temiz, denoised bir çıktı yüzü ürettiği için oluşturulan yüz gömme ile gerçek ID gömme arasındaki doğru bir ID kaybı hesaplamayı sağlar. Bu, oluşturulan ID'nin doğruluğunu artırır.

ComfyUI PuLID Nasıl Kullanılır

Bir modeli ID özelleştirmesi uygulamak için ComfyUI PuLID iş akışını kullanmak, "Apply PuLID" düğümünde birkaç ana parametre içerir:

"Apply PuLID" Gerekli Girdiler:

• model: Belirli ID ile özelleştirilecek temel metin-ile-görüntü difüzyon modeli. Bu genellikle Stable Diffusion gibi önceden eğitilmiş bir modeldir.
• pulid: ID bilgisinin temel modele nasıl ekleneceğini tanımlayan yüklenmiş PuLID model ağırlıkları. Farklı PuLID ağırlık dosyaları ya ID doğruluğunu ya da modelin orijinal oluşturma tarzını korumayı önceliklendirmek için eğitilebilir.
• eva_clip: ID referans görüntüsü/görüntülerinden yüz özelliklerini kodlamak için yüklenmiş Eva-CLIP modeli. Eva-CLIP anlamlı bir yüz özelliği gömme üretir.
• face_analysis: ID referans görüntüsü/görüntülerinde yüzü tanıyan ve kırpan yüklü InsightFace modeli. Bu, yalnızca ilgili yüz özelliklerinin kodlandığını sağlar.
• image: Modele eklenecek belirli ID'yi tasvir eden referans görüntü veya görüntüler. ID gömmeyi geliştirmek için aynı kimliğin birden fazla görüntüsü sağlanabilir.
• method: ID ekleme yöntemini seçer, "fidelity", "style" ve "neutral" seçenekleriyle. "fidelity", oluşturma kalitesi düşse bile ID referansına maksimum benzerliği önceliklendirir. "style", ID'nin düşük doğruluğuyla modelin orijinal oluşturma yeteneklerini korumaya odaklanır. "neutral" ise ikisini dengeler.
• weight: ID eklemenin gücünü 0 (etkisiz) ile 5 (aşırı güçlü) arasında kontrol eder. Varsayılan 1'dir. Daha yüksek ağırlık ID doğruluğunu artırır ancak modelin orijinal oluşturma yeteneğini aşma riski taşır.
• start_at: PuLID ID özelleştirmesini uygulamaya başlama denoising adımı (0'dan 1'e kadar bir yüzde olarak). Varsayılan 0'dır, ID eklemeyi ilk denoising adımından başlatır. Denoising sürecinde ID eklemeye daha sonra başlamak için artırılabilir.
• end_at: PuLID ID özelleştirmesini durdurma denoising adımı (0'dan 1'e kadar bir yüzde olarak). Varsayılan 1'dir, ID eklemeyi denoising'in sonuna kadar uygular. Son denoising adımlarından önce ID eklemeyi durdurmak için azaltılabilir.

"Apply PuLID" İsteğe Bağlı Girdiler:

• attn_mask: ID özelleştirmenin nerede uygulanacağını mekansal olarak kontrol etmek için isteğe bağlı bir gri tonlamalı maske görüntüsü. Maskenin beyaz alanları tam ID ekleme etkisini alır, siyah alanlar etkilenmez, gri alanlar kısmi etki alır. ID'yi sadece yüz bölgesine yerelleştirmek için kullanışlıdır.

"Apply PuLID" Çıktılar:

• MODEL: PuLID ID özelleştirmesi uygulanmış giriş modeli. Bu özelleştirilmiş model, görüntü oluşturma için diğer ComfyUI düğümlerinde kullanılabilir. Oluşturulan görüntüler, ID'yi tasvir ederken hala komut yoluyla kontrol edilebilir.

Bu parametreleri ayarlamak, ID doğruluğu ve oluşturma kalitesi arasındaki istenen dengeyi elde etmek için PuLID ID eklemesini ince ayar yapmayı sağlar. Genel olarak, "neutral" yöntemiyle 1 ağırlık, güvenilir bir başlangıç noktası sağlar ve sonuçlara göre ayarlanabilir. start_at ve end_at parametreleri, denoising'de ID'nin ne zaman etkili olacağını daha fazla kontrol eder, attn_mask ile etkinin yerelleştirilmesi seçeneği sunar.

Daha fazla bilgi için lütfen github adresini ziyaret edin.