ComfyUI Vid2Vid Dance Transfer

ComfyUI Vid2Vid Dance Transfer je výkonný workflow ComfyUI Vid2Vid, který umožňuje uživatelům stylizovat a transformovat skutečná videa do různých objektů nebo prvků. S tímto workflow můžete vytvářet ohromující video animace přenosem pohybu a stylu z původního videa na cílový obrázek nebo objekt. Tento tutorial vás provede klíčovými komponentami a nastaveními potřebnými k dosažení nejlepších výsledků.

Kredit

Děkujeme MDMZ a DP za jejich neuvěřitelné příspěvky při tvorbě tohoto workflow! MDMZ sdílel svůj workflow ComfyUI Vid2Vid Dance Transfer prostřednictvím svého YouTube tutorialu , který staví na původním workflow od DP.

1. Co dělá workflow ComfyUI Vid2Vid Dance Transfer?

Workflow ComfyUI Vid2Vid Dance Transfer vám umožňuje vzít skutečné video a transformovat ho do stylizované animace. Přenáší pohyby a taneční kroky z původního videa na vámi zvolený cílový obrázek nebo objekt.

2. Klíčové komponenty workflow ComfyUI Vid2Vid

2.1 Nahrávání videa a vytváření masky

• Workflow ComfyUI Vid2Vid začíná komponentou VHS_LoadVideo, kde nahrajete původní video obsahující taneční kroky, které chcete přenést.
• Komponenta LayerMask: RemBgUltra se používá k odstranění pozadí z video snímků a vytvoření černobílé masky subjektu. Tato maska je klíčová pro správnou identifikaci a přenos pohybu.
• Komponenty ImageToMask a MaskToImage převádějí mezi formáty obrázku a masky podle potřeby v workflow ComfyUI Vid2Vid.
• 🌟 Důležité tipy: Platforma RunComfy má přednahraný "RemBgultra model" nezbytný pro uzel "Layer Style". Pokud jste si nainstalovali uzly "Layer Style" sami, prosím odstraňte soubor "Layer Style" ze svého soukromého prohlížeče souborů, abyste se vyhnuli konfliktům. Jakmile odstraníte svůj soubor "Layer Style", workflow použije přednahraný model RunComfy a poběží hladce.

2.2 Nastavení cílového obrázku pomocí IPAdapter

• Komponenty IPAdapterAdvanced se používají k nahrání a konfiguraci cílového obrázku nebo objektu, který obdrží přenos tance ComfyUI Vid2Vid. Cílový obrázek můžete nahrát pomocí uzlu LoadImage a cílové pozadí pomocí uzlu LoadBgImage
• IPAdapterUnifiedLoader se používá k nahrání IPAdapter, který určuje sílu vlivu cílového obrázku na výstup.

2.3 Aplikace AnimateDiff pro přenos pohybu

• Jádrem přenosu tance ComfyUI Vid2Vid je model AnimateDiff Latent Condition Model (LCM). Ten je nahrán pomocí komponenty ADE_LoadAnimateDiffModel v ComfyUI Vid2Vid.
• Další komponenty jako ADE_AnimateDiffSamplingSettings, ADE_LoopedUniformContextOptions a ADE_ApplyAnimateDiffModelSimple se používají ke konfiguraci nastavení vzorkování, kontextových možností a aplikaci modelu AnimateDiff v ComfyUI Vid2Vid.
• Komponenta ADE_UseEvolvedSampling se používá k výběru vhodné metody vzorkování pro model AnimateDiff v ComfyUI Vid2Vid.

2.4 Vedení výstupu pomocí ControlNet

• ControlNet se používá k vedení a definování tvaru a obrysu subjektu ve výstupní animaci.
• Komponenty ControlNetLoaderAdvanced se používají k nahrání modelů ControlNet. Tento workflow používá dva modely ControlNet: QR Code Monster a Lineart.
• Komponenty ControlNet Stacker se používají ke stohování a kombinování výstupů ControlNet s nastavitelnými silami v ComfyUI Vid2Vid Transfer.

2.5 Generování výstupních snímků pomocí KSampler

• Komponenty KSampler (Efficient) v ComfyUI Vid2Vid jsou zodpovědné za generování výstupních snímků na základě všech poskytnutých konfigurací a vstupů.
• Hlavní komponenta KSampler zpracovává video snímky a vytváří náhled animace. Bere model AnimateDiff, výstupy IPAdapter, stoh ControlNet a další nastavení jako vstupy.
• Druhá komponenta KSampler se používá k upscalingu a odstranění šumu z výstupních snímků ComfyUI Vid2Vid.

2.6 Upscaling, pokud je potřeba

• Komponenta ImageScaleBy se používá ke zvětšení rozlišení výstupních snímků. Komponenta ImageUpscaleWithModel se používá k dalšímu upscalingu snímků pomocí vybraného modelu upscalingu. Workflow výchozí nastavení je deaktivovat komponenty upscalingu. Pokud je potřebujete, povolte tyto komponenty pro lepší výsledek.