ComfyUI Vid2Vid Dance Transfer

ComfyUI Vid2Vid Dance Transfer to potężny workflow ComfyUI Vid2Vid, który umożliwia użytkownikom stylizację i przekształcanie prawdziwego wideo w różne obiekty lub elementy. Dzięki temu workflow możesz tworzyć oszałamiające animacje wideo, przenosząc ruch i styl wideo źródłowego na obraz lub obiekt docelowy. Ten tutorial poprowadzi Cię przez kluczowe komponenty i ustawienia niezbędne do osiągnięcia najlepszych wyników.

Podziękowania

Dziękujemy MDMZ i DP za ich niesamowite wkłady w tworzenie tego workflow! MDMZ udostępnił swój workflow ComfyUI Vid2Vid Dance Transfer poprzez swój tutorial na YouTube , który opiera się na oryginalnym workflow DP .

1. Co robi workflow ComfyUI Vid2Vid Dance Transfer?

Workflow ComfyUI Vid2Vid Dance Transfer umożliwia przekształcenie prawdziwego wideo w stylizowaną animację. Przenosi ruch i taneczne ruchy z wideo źródłowego na wybrany przez Ciebie obraz lub obiekt docelowy.

2. Kluczowe Komponenty Workflow ComfyUI Vid2Vid

2.1 Ładowanie Wideo i Tworzenie Maski

• Workflow ComfyUI Vid2Vid zaczyna się od komponentu VHS_LoadVideo, gdzie ładujesz wideo źródłowe zawierające ruchy taneczne, które chcesz przenieść.
• Komponent LayerMask: RemBgUltra jest używany do usunięcia tła z klatek wideo i stworzenia czarno-białej maski podmiotu. Ta maska jest kluczowa do prawidłowego rozpoznania i przeniesienia ruchu.
• Komponenty ImageToMask i MaskToImage konwertują między formatami obrazu i maski w razie potrzeby w workflow ComfyUI Vid2Vid.
• 🌟 Ważne Wskazówki: Platforma RunComfy ma wstępnie załadowany model "RemBgultra" wymagany dla węzła "Layer Style". Jeśli zainstalowałeś samodzielnie węzły "Layer Style", usuń plik "Layer Style" z prywatnej przeglądarki plików, aby uniknąć konfliktów. Po usunięciu pliku "Layer Style", workflow użyje wstępnie załadowanego modelu RunComfy i będzie działać płynnie.

2.2 Konfiguracja Obrazu Docelowego z IPAdapter

• Komponenty IPAdapterAdvanced są używane do ładowania i konfiguracji obrazu lub obiektu docelowego, który otrzyma przeniesienie tańca ComfyUI Vid2Vid. Możesz załadować obraz docelowy za pomocą węzła LoadImage i załadować obraz tła za pomocą węzła LoadBgImage.
• Komponent IPAdapterUnifiedLoader jest używany do ładowania IPAdapter, który określa siłę wpływu obrazu docelowego na wynik.

2.3 Zastosowanie AnimateDiff do Transferu Ruchu

• Rdzeń przeniesienia tańca ComfyUI Vid2Vid jest zasilany przez model AnimateDiff Latent Condition Model (LCM). Jest on ładowany za pomocą komponentu ADE_LoadAnimateDiffModel w ComfyUI Vid2Vid.
• Dodatkowe komponenty, takie jak ADE_AnimateDiffSamplingSettings, ADE_LoopedUniformContextOptions i ADE_ApplyAnimateDiffModelSimple, są używane do konfiguracji ustawień próbkowania, opcji kontekstu i zastosowania modelu AnimateDiff odpowiednio w ComfyUI Vid2Vid.
• Komponent ADE_UseEvolvedSampling jest używany do wyboru odpowiedniej metody próbkowania dla modelu AnimateDiff w ComfyUI Vid2Vid.

2.4 Wskazówki Wyjściowe z ControlNet

• ControlNet jest używany do kierowania i definiowania kształtu i konturu podmiotu w animacji wyjściowej.
• Komponenty ControlNetLoaderAdvanced są używane do ładowania modeli ControlNet. Ten workflow używa dwóch modeli ControlNet: QR Code Monster i Lineart.
• Komponenty ControlNet Stacker są używane do łączenia i kombinowania wyjść ControlNet z regulowaną siłą w ComfyUI Vid2Vid Transfer.

2.5 Generowanie Klatek Wyjściowych z KSampler

• Komponenty KSampler (Efficient) w ComfyUI Vid2Vid są odpowiedzialne za generowanie klatek wyjściowych na podstawie wszystkich dostarczonych konfiguracji i danych wejściowych.
• Główny komponent KSampler przetwarza klatki wideo, aby stworzyć podgląd animacji. Przyjmuje model AnimateDiff, wyjścia IPAdapter, stos ControlNet i inne ustawienia jako wejścia.
• Drugi komponent KSampler jest używany do skalowania i odszumiania klatek wyjściowych ComfyUI Vid2Vid.

2.6 Skalowanie w razie potrzeby

• Komponent ImageScaleBy jest używany do skalowania rozdzielczości klatek wyjściowych. Komponent ImageUpscaleWithModel jest używany do dalszego skalowania klatek za pomocą wybranego modelu skalowania. Workflow domyślnie wyłącza komponenty skalowania. Jeśli jest to potrzebne, włącz te komponenty, aby uzyskać lepszy wynik.