Vid2Vid Część 1 | Kompozycja i Maskowanie

Workflow ComfyUI Vid2Vid, stworzony przez YVANN, wprowadza dwa odrębne procesy, aby uzyskać wysokiej jakości, profesjonalne animacje.

• Pierwszy workflow ComfyUI: ComfyUI Vid2Vid Część 1 | Kompozycja i Maskowanie
• Drugi workflow: ComfyUI Vid2Vid Część 2 | SDXL Style Transfer

ComfyUI Vid2Vid Część 1 | Kompozycja i Maskowanie

Ten workflow zwiększa kreatywność, koncentrując się na kompozycji i maskowaniu oryginalnego wideo.

Krok 1: Models Loader | ComfyUI Vid2Vid Workflow Część 1

Wybierz odpowiednie modele do swojej animacji. Obejmuje to wybór modelu checkpoint, modelu VAE (Variational Autoencoder) i modelu LoRA (Low-Rank Adaptation). Te modele są kluczowe dla określenia możliwości i stylu animacji.

Krok 2: Video Loader | ComfyUI Vid2Vid Workflow Część 1

Węzeł Input Video odpowiada za importowanie pliku wideo, który będzie używany do animacji. Węzeł odczytuje wideo i przekształca je w indywidualne klatki, które są następnie przetwarzane w kolejnych krokach. Umożliwia to szczegółową edycję i ulepszanie klatek po klatce.

Krok 3: Remove Background (Auto Masking) | ComfyUI Vid2Vid Workflow Część 1

Remove Background (Auto Masking) izoluje obiekt od tła za pomocą zautomatyzowanej techniki maskowania. Obejmuje to modele, które wykrywają i oddzielają obiekt pierwszoplanowy od tła, tworząc binarną maskę. Ten krok jest kluczowy, aby zapewnić, że obiekt może być manipulowany niezależnie od tła.

Krok 4: Masking Specific Area (Manual Mask or Auto Mask) | ComfyUI Vid2Vid Workflow Część 1

Ten krok umożliwia udoskonalenie maski stworzonej w poprzednim kroku. Możesz ręcznie maskować określone obszary za pomocą innego oprogramowania lub skorzystać z funkcji automatycznego maskowania 'Segment Anything' w ComfyUI.

• Manual Mask: Ta opcja wymaga użycia innego oprogramowania poza ComfyUI dla precyzyjnej kontroli.
• Auto Mask: Korzystając z funkcji automatycznego maskowania, możesz opisać, co chcesz zamaskować, używając prostych słów w widżecie prompt. Model utworzy maskę automatycznie, chociaż może nie być tak dokładna jak maska ręczna.

Domyślnie używana jest maska ręczna. Jeśli chcesz wypróbować automatyczną, proszę pominąć grupę maski ręcznej i włączyć grupę maski automatycznej. Dodatkowo, podłącz MASK 'GroundingDinoSAM' (auto mask) do 'GrowMaskWithBlur' zamiast podłączać 'ImageToMask' (manual mask) do 'GrowMaskWithBlur'.

Krok 5: Transform Mask | ComfyUI Vid2Vid Workflow Część 1

Transform Mask przekształca maskę w obraz i pozwala na dodatkowe poprawki, takie jak dodanie rozmycia do oryginalnej maski. Pomaga to w zmiękczeniu krawędzi i sprawia, że maska lepiej łączy się z resztą obrazu.

Krok 6: Input Prompt | ComfyUI Vid2Vid Workflow Część 1

Wprowadź tekstowe prompty, aby kierować procesem animacji. Prompt może opisywać pożądany styl, wygląd lub działania obiektu. Jest to kluczowe dla określenia twórczego kierunku animacji, zapewniając, że końcowy wynik odpowiada zamierzonemu stylowi artystycznemu.

Krok 7: AnimateDiff | ComfyUI Vid2Vid Workflow Część 1

Węzeł AnimateDiff tworzy płynne animacje, identyfikując różnice między kolejnymi klatkami i stosując te zmiany stopniowo. Pomaga to w zachowaniu spójności ruchu i redukcji nagłych zmian w animacji, prowadząc do bardziej płynnego i naturalnego wyglądu.

Krok 8: IPAdapter | ComfyUI Vid2Vid Workflow Część 1

Węzeł IPAdapter dostosowuje obrazy wejściowe do pożądanych stylów lub cech wyjściowych. Obejmuje to zadania takie jak kolorowanie i transfer stylu, zapewniając, że każda klatka animacji zachowuje spójny wygląd i odczucie.

Krok 9: ControlNet | ComfyUI Vid2Vid Workflow Część 1

Wykorzystanie ControlNet - v1.1 - Instruct Pix2Pix Version model poprawia modele dyfuzyjne, umożliwiając im przetwarzanie dodatkowych warunków wejściowych (np. mapy krawędzi, mapy segmentacji). Ułatwia generowanie obrazów z tekstu, kontrolując te wstępnie wytrenowane modele za pomocą warunków specyficznych dla zadania w sposób end-to-end, umożliwiając solidne uczenie nawet przy mniejszych zestawach danych.

Krok 10: Render | ComfyUI Vid2Vid Workflow Część 1

W kroku Render przetworzone klatki są kompilowane w końcowy wynik wideo. Ten krok zapewnia, że wszystkie indywidualne klatki są płynnie połączone w spójną animację, gotową do eksportu i dalszego wykorzystania.

Krok 11: Compose Background | ComfyUI Vid2Vid Workflow Część 1

To obejmuje kompozycję animowanego obiektu z tłem. Możesz dodać statyczne lub dynamiczne tło do animacji, zapewniając, że obiekt płynnie integruje się z nowym tłem, tworząc wizualnie atrakcyjny produkt końcowy.

Korzystając z workflow ComfyUI Vid2Vid Część 1, możesz tworzyć skomplikowane animacje z precyzyjną kontrolą nad każdym aspektem procesu, od kompozycji i maskowania po końcowe renderowanie.