Vid2Vid Část 1 | Kompozice a Maskování

Workflow ComfyUI Vid2Vid, vytvořený YVANN, představuje dva odlišné workflowy pro dosažení vysoce kvalitních, profesionálních animací.

• První workflow ComfyUI: ComfyUI Vid2Vid Část 1 | Kompozice a Maskování
• Druhý workflow: ComfyUI Vid2Vid Část 2 | SDXL Style Transfer

ComfyUI Vid2Vid Část 1 | Kompozice a Maskování

Tento workflow zvyšuje kreativitu zaměřením na kompozici a maskování vašeho původního videa.

Krok 1: Models Loader | ComfyUI Vid2Vid Workflow Část1

Vyberte vhodné modely pro vaši animaci. To zahrnuje výběr checkpoint modelu, VAE (Variational Autoencoder) modelu a LoRA (Low-Rank Adaptation) modelu. Tyto modely jsou zásadní pro definování schopností a stylu vaší animace.

Krok 2: Video Loader | ComfyUI Vid2Vid Workflow Část1

Node Input Video je zodpovědný za import video souboru, který bude použit pro animaci. Node čte video a převádí ho na jednotlivé snímky, které jsou pak zpracovávány v následujících krocích. To umožňuje detailní úpravy snímek po snímku a jejich vylepšení.

Krok 3: Odstranění Pozadí (Automatické Maskování) | ComfyUI Vid2Vid Workflow Část1

Odstranění Pozadí (Automatické Maskování) izoluje subjekt od pozadí pomocí automatizované maskovací techniky. To zahrnuje modely, které detekují a oddělují popřední subjekt od pozadí, čímž vytváří binární masku. Tento krok je zásadní pro zajištění, že subjekt může být manipulován nezávisle na pozadí.

Krok 4: Maskování Specifické Oblasti (Manuální Maska nebo Automatická Maska) | ComfyUI Vid2Vid Workflow Část1

Tento krok umožňuje upřesnění masky vytvořené v předchozím kroku. Můžete buď ručně maskovat specifické oblasti pomocí jiného softwaru, nebo se spolehnout na 'Segment Anything' automatickou maskovací funkci ComfyUI.

• Manuální Maska: Toto musí být provedeno jiným softwarem mimo ComfyUI pro přesnou kontrolu.
• Automatická Maska: Pomocí automatické maskovací funkce můžete popsat, co chcete maskovat, pomocí jednoduchých slov ve widgetu promptu. Model vytvoří masku automaticky, i když nemusí být tak přesná jako manuální maska.

Výchozí verze používá manuální masku. Pokud chcete vyzkoušet automatickou, obejděte skupinu s manuální maskou a povolte skupinu s automatickou maskou. Dále připojte MASK 'GroundingDinoSAM' (automatická maska) k 'GrowMaskWithBlur' místo připojení 'ImageToMask' (manuální maska) k 'GrowMaskWithBlur'.

Krok 5: Transformace Masky | ComfyUI Vid2Vid Workflow Část1

Transformace Masky převádí masku na obrázek a umožňuje další úpravy, jako je přidání rozmazání k původní masce. To pomáhá změkčit okraje a zajistit, aby maska přirozeně splynula se zbytkem obrázku.

Krok 6: Vstupní Prompt | ComfyUI Vid2Vid Workflow Část1

Zadejte textové prompty pro vedení animačního procesu. Prompt může popisovat požadovaný styl, vzhled nebo akce subjektu. Je zásadní pro definování kreativního směru animace, zajišťující, že konečný výstup odpovídá plánovanému uměleckému stylu.

Krok 7: AnimateDiff | ComfyUI Vid2Vid Workflow Část1

Node AnimateDiff vytváří plynulé animace identifikací rozdílů mezi po sobě jdoucími snímky a aplikací těchto změn postupně. To pomáhá zachovat koherenci pohybu a snížit náhlé změny v animaci, což vede k plynulejšímu a přirozenějšímu vzhledu.

Krok 8: IPAdapter | ComfyUI Vid2Vid Workflow Část1

Node IPAdapter přizpůsobuje vstupní obrázky tak, aby odpovídaly požadovaným výstupním stylům nebo vlastnostem. To zahrnuje úkoly jako kolorování a převod stylů, zajišťující, že každý snímek animace udržuje konzistentní vzhled a dojem.

Krok 9: ControlNet | ComfyUI Vid2Vid Workflow Část1

Použití ControlNet - v1.1 - Instruct Pix2Pix Version modelu zlepšuje difúzní modely tím, že jim umožňuje zpracovávat další vstupní podmínky (např. mapy hran, segmentační mapy). Umožňuje generování obrazů z textu kontrolou těchto předtrénovaných modelů s úkolově specifickými podmínkami end-to-end způsobem, což umožňuje robustní učení i s menšími datovými sadami.

Krok 10: Render | ComfyUI Vid2Vid Workflow Část1

Ve fázi Render jsou zpracované snímky sestaveny do konečného video výstupu. Tento krok zajišťuje, že všechny jednotlivé snímky jsou bezproblémově kombinovány do koherentní animace, připravené k exportu a dalšímu použití.

Krok 11: Kompozice Pozadí | ComfyUI Vid2Vid Workflow Část1

Toto zahrnuje kompozici animovaného subjektu s pozadím. Můžete přidat statické nebo dynamické pozadí k animaci, zajistit, aby subjekt hladce integroval s novým pozadím a vytvořil vizuálně atraktivní konečný produkt.

Použitím workflowu ComfyUI Vid2Vid Část1 můžete vytvořit složité animace s přesnou kontrolou nad každým aspektem procesu, od kompozice a maskování až po konečné renderování.