LivePortrait | Portreleri Canlandır | Img2Vid

LivePortrait Nedir?

LivePortrait, Kuaishou Technology tarafından geliştirilen ve tek bir kaynak görüntüsünden gerçekçi videolar sentezlemeyi amaçlayan verimli bir portre animasyon çerçevesidir. Kaynak görüntüyü bir görünüm referansı olarak kullanır ve hareketi (yüz ifadeleri ve baş pozisyonu) bir sürücü video, ses, metin veya üretimden türetir.

Ana akım difüzyon tabanlı yöntemlerin aksine, LivePortrait hesaplama verimliliği ve kontrol edilebilirliği etkili bir şekilde dengelemek için örtük anahtar noktaya dayalı bir çerçeveyi keşfeder ve genişletir. Pratik kullanım için daha iyi genelleme, kontrol edilebilirlik ve verimliliğe odaklanır. LivePortrait, difüzyon yöntemleriyle karşılaştırıldığında bile yüksek üretim kalitesine sahiptir ve son derece hızlıdır - PyTorch ile RTX 4090 GPU'da kare başına yaklaşık 12.8ms.

Daha fazla ayrıntı için

LivePortrait Nasıl Çalışır?

Genel olarak, LivePortrait bir kaynak görüntü ve bir sürücü video alır. Kaynak görüntüden görünümü ve sürücü videodan hareketi çıkarır. Bunlar daha sonra kaynak görüntünün kimliğini koruyan ancak sürücü videonun hareket ve ifadelerini takip eden animasyonlu bir portre videosu sentezlemek için bükme ve üretim modülleri kullanılarak birleştirilir.

LivePortrait'teki ana bileşenler şunlardır:

1. Görünüm Özellik Çıkarıcı: Kaynak görüntüden kimlik ve görünüm bilgilerini kodlar.
2. Hareket Çıkarıcı: Sürücü video karelerinden hareket özelliklerini (yüz anahtar noktaları) çıkarır.
3. Bükme Modülü: Çıkarılan hareketi kullanarak kaynak görüntü özelliklerini bükerek onları sürücü pozuna ve ifadesine hizalar.
4. Görüntü Üretici: Bükülen özellikleri alır ve son fotoğraf gerçekliğinde animasyonlu kareyi sentezler.
5. Dikiş ve Yeniden Hedefleme Modülü: Opsiyonel olarak üretilen portreyi orijinal görüntüye geri diker ve gözler ve ağız gibi belirli yüz bölgelerini kontrol etmeye olanak tanır.

Bu modüller verimli bir şekilde tasarlanmıştır ve yüksek kaliteli, kontrol edilebilir LivePortrait animasyonu sağlamak için birlikte çalışırlar.

ComfyUI LivePortrait Nasıl Kullanılır?

düğümü ve iş akışı sayesinde, ComfyUI'de gerçekçi portre animasyonları oluşturmak artık daha kolay. Aşağıda, ComfyUI LivePortrait iş akışının ana bileşenleri ve parametrelerinin bir dökümü bulunmaktadır.

ComfyUI LivePortrait Img2Vid İş Akışının Ana Adımları

1. Live Portrait Modellerini Yükleyin

• "DownloadAndLoadLivePortraitModels" düğümünü ekleyin
• En iyi performans için hassasiyeti otomatik veya fp16 olarak ayarlayın

2. LivePortrait için Yüz Algılayıcısını Seçin

• "LivePortraitLoadCropper" (InsightFace) ve "LivePortraitLoadMediaPipeCropper" düğümleri arasında bir seçim yapabilirsiniz
• InsightFace daha doğrudur ancak ticari olmayan bir lisansa sahiptir, MediaPipe ise CPU'da daha hızlıdır ancak daha az doğrudur
• Her ikisi de yüzleri algılamak ve kırpmak için kullanılacak bir "cropper" çıktısı verir

3. LivePortrait için Kaynak Görüntüyü Yükleyin ve Ön İşleyin

• "Load Image" düğümünü kullanarak kaynak portre görüntünüzü yükleyin
• "ImageResize" düğümünü kullanarak 512x512 boyutuna yeniden boyutlandırın
• Yeniden boyutlandırılmış görüntüyü bir "LivePortraitCropper" düğümüne bağlayın
• Ayrıca seçtiğiniz yüz algılayıcının "cropper" çıktısını bu düğüme bağlayın
• "LivePortraitCropper" Düğümündeki Ana Parametreler

"dsize": Bu, kırpılmış yüz görüntüsünün çıkış çözünürlüğünü ayarlar

• Varsayılan 512'dir, yani yüz 512x512 piksele kırpılacaktır
• Daha yüksek değerler yüzü daha yüksek çözünürlükte kırpacak, ancak işlemek daha yavaş olabilir
• Daha düşük değerler daha hızlı olacaktır ancak bazı detaylar kaybolabilir

"scale": Bu, yüz kırpmanın ne kadar yakınlaştırılacağını kontrol eder

• Varsayılan 2.3'tür, daha yüksek değerler yüzü daha yakından yakınlaştıracak, daha düşük değerler daha fazla kafa/arka plan içerecektir
• Bu ayarı, kırpmanın tüm yüzü ve biraz arka planı içermesi, ancak fazla boş alan olmaması için ayarlamak istersiniz
• Hareket aktarımının iyi çalışması için iyi bir yüz kırpma önemlidir
• Tipik değerler, kaynak görüntünün çerçevesine bağlı olarak 1.8 ile 2.5 arasında değişir

"face_index": Görüntüde birden fazla yüz algılanırsa, kırpılacak olanı seçer

• Varsayılan 0'dır, bu ilk algılanan yüzü seçer
• Görüntüde farklı bir yüz seçmek istiyorsanız bunu artırın
• Algılanan yüzler "face_index_order" ayarına göre sıralanır (varsayılan büyükten küçüğe)

"vx_ratio" ve "vy_ratio" (Opsiyonel): Kırpmayı dikey (vy) veya yatay (vx) olarak kaydırmanıza olanak tanır

• Değerler -1 ile 1 arasında değişir
• Örneğin, vy değerini 0.1 olarak ayarlamak kırpmayı çerçeve boyutunun %10'u kadar yukarı kaydıracaktır
• Otomatik kırpma hafifçe hizalanmamışsa bu yardımcı olabilir

"face_index_order": "face_index" ile seçim yaparken algılanan yüzlerin nasıl sıralandığını ayarlar

• Varsayılan "large-small" büyükten küçüğe sıralar
• Ayrıca soldan sağa, yukarıdan aşağıya vb. sıralayabilir
• Görüntünüzde birden fazla yüz varsa bu yalnızca önemlidir

4. LivePortrait için Sürücü Videosunu Yükleyin ve Ön İşleyin

• "VHS_LoadVideo" düğümünü kullanarak sürücü videonuzu yükleyin
• "frame_load_cap" ilkelini kullanarak kare sayısını ayarlayın
• "GetImageSizeAndCount" düğümünü kullanarak video karelerini 480x480 boyutuna yeniden boyutlandırın
• İsteğe bağlı olarak başka bir "LivePortraitCropper" düğümünü kullanarak sürücü video karelerini kırpabilirsiniz

5. LivePortrait için Hareket Aktarımını Uygulayın

• "LivePortraitProcess" düğümünü ekleyin
• Yüklü boru hattını, kaynak görüntü crop_info'yu, kırpılmış kaynak görüntüyü ve sürücü karelerini "LivePortraitProcess" düğümüne bağlayın
• "LivePortraitProcess" Düğümündeki Ana Parametreler

"lip_zero": Etkinleştirildiğinde, belirli bir eşik değerinin altına düşen dudak parametrelerini sıfırlar

• Bu, doğal olmayan dudak hareketlerini azaltmaya ve dudak senkronizasyonunu iyileştirmeye yardımcı olabilir
• Tüm dudak hareketini korumak istemediğiniz sürece bunu etkinleştirmeniz önerilir

"lip_zero_threshold": "lip_zero" etkinleştirildiğinde dudak parametrelerinin sıfırlanacağı eşiği ayarlar

• Varsayılan 0.03'tür, daha yüksek değerler daha fazla dudak hareketini sıfırlar, daha düşük değerler daha fazlasını korur
• Dudak hareketinin ne kadarının bastırılacağını değiştirmek istiyorsanız bunu ayarlayın

"stitching": Etkinleştirildiğinde, animasyonlu yüzü bir dikiş işlemi kullanarak orijinal görüntüye geri karıştırır

• Bu, animasyonlu yüz ile arka plan arasında daha sorunsuz bir geçiş oluşturmaya yardımcı olabilir
• En doğal görünen sonuçlar için bunu etkinleştirmeniz önerilir

"delta_multiplier": Hareket parametrelerini bir çarpanla ölçeklendirir

• Varsayılan 1.0'dır, daha yüksek değerler hareketi abartır, daha düşük değerler azaltır
• Yüz hareketinin genel yoğunluğunu ayarlamak için kullanılabilir
• İstenen etkiye bağlı olarak tipik değerler 0.8 ile 1.5 arasında değişir

"mismatch_method": Kaynak ve sürücü kare sayıları arasındaki uyumsuzlukları iş akışının nasıl ele alacağını ayarlar

• Seçenekler "constant", "cycle", "mirror" ve "cut" dur

• "constant" son karede kalır, "cycle" döngü yapar, "mirror" ileri sonra geri oynatır, "cut" durur

• Varsayılan "constant" tır, sürücü video kaynak videodan daha uzun veya kısa olduğunda farklı bir davranış istiyorsanız bunu değiştirin

"relative_motion_mode": Hareketin sürücü videodan kaynak görüntüye nasıl aktarılacağını kontrol eder

• Seçenekler "relative", "source_video_smoothed", "relative_rotation_only", "single_frame" ve "off" dur
• "relative" varsayılandır ve göreceli hareket aktarımını kullanır
• "off" hareket aktarımını tamamen devre dışı bırakır
• Spesifik kullanım durumunuz için en iyi sonuçları veren modları denemek için farklı modları deneyin

"driving_smooth_observation_variance": "source_video_smoothed" hareket modunu kullanırken sürücü hareketinin pürüzsüzlüğünü kontrol eder

• Daha yüksek değerler hareketi daha fazla pürüzsüzleştirir, daha düşük değerler orijinal hareketi daha fazla korur
• Varsayılan 0.000003'tür, aktarılan hareketin pürüzsüzlüğünü değiştirmek istiyorsanız bunu ayarlayın

6. Sonucu Kompozite Edin (Opsiyonel) LivePortrait İçin

• Animasyonlu yüzü kaynak görüntüye geri karıştırmak için "LivePortraitComposite" düğümünü kullanın
• Orijinal kaynak görüntüyü, kırpılmış animasyonlu görüntüyü, LivePortrait çıkış verilerini ve isteğe bağlı bir maskeyi bağlayın
• Bu, animasyonlu yüzün karıştırıldığı tam kareleri çıktılar

7. Yeniden Hedeflemeyi Yapılandırın (Opsiyonel) LivePortrait İçin

• Gözler ve dudaklar üzerinde daha ince kontrol için "LivePortraitRetargeting" düğümünü kullanın
• Göz ve/veya dudak yeniden hedeflemeyi etkinleştirin ve çarpanlarını ayarlayın
• Yeniden hedefleme bilgilerini "LivePortraitProcess" e bağlayın

Insightface modelinin bu iş akışında gerekli olduğunu unutmayın. Insightface modeli (https://github.com/deepinsight/insightface/releases/download/v0.7/buffalo_l.zip) lisansı ticari olmayan niteliktedir.

LivePortrait Vid2Vid ile ilgileniyorsanız, lütfen kullanın.