Z-Depth Maps | Animace podobné Houdini

Chtěli jste někdy vytvořit ohromující animace podobné Houdini, ale cítili jste se zastrašeni složitostí 3D softwaru? Nehledejte dál! Tento inovativní workflow ComfyUI vás provede procesem aplikace manipulací s hloubkou (Z-Depth) a generování poutavých animací pomocí pouze 2D obrázků.

Ať už jste umělec, designér nebo nadšenec, budete schopni generovat ohromující animace, které vypadají a působí, jako by byly vytvořeny pomocí pokročilých 3D technik, a to vše při práci s jednoduchostí a snadností 2D obrázků v ComfyUI.

Krok 1: Vytvoření výchozího obrázku

Na začátku budete muset vygenerovat výchozí obrázek, který bude sloužit jako základ pro vaši animaci. Jakmile budete mít obrázek, zmenšete ho na menší velikost, například 1 megapixel, aby velikost souboru byla zvládnutelná.

Krok 2: Vytvoření maskové animace z jednoho obrázku

V tomto kroku přeměníte svůj jediný obrázek na maskovou animaci. Začněte tím, že vytvoříte video z vašeho jediného obrázku opakováním pro požadovaný počet snímků, například 32. Chcete-li izolovat svůj objekt, odstraňte pozadí pomocí modelu pro odstranění pozadí, jako je InSPyR-Net. Po odstranění pozadí lehce zmenšete výslednou masku o několik pixelů, aby dobře fungovala s procesem manipulace s hloubkou.

Dále extrahujte hloubkovou informaci z vašeho jediného snímku a připojte ji k hloubce ovládací sítě. Opakujte hloubkový obrázek pro stejný počet snímků jako vaše video. Předávejte opakované hloubkové snímky do uzlů Time Feature a Flex Mask Depth Chamber. Uzly Time Feature budou řídit animaci v čase s pevnou snímkovou frekvencí. Nastavte časový efekt na "smooth" a zvolte nízkou rychlostní hodnotu, například 0.1.

Časové funkce budou řídit řezání vašeho subjektu podél osy Z-depth. Upravte počáteční polohu rovin Z-front a Z-back, aby akce začala v polovině vašeho subjektu. Pohybujte oběma rovinami pomocí parametru "feature" s pohybem "squeeze" k vytvoření požadovaného řezu. Pro zvýšení efektu diferenciální difuze a zajištění plynulejších přechodů přidejte malé množství rozmazání pomocí nastavení "grow with blur".

Na konci tohoto kroku přeměníte svůj jediný obrázek na maskovou animaci, která je připravena pro proces manipulace s hloubkou a řezání. Tato masková animace bude sloužit jako základ pro vytvoření efektu podobného Houdini v následujících krocích workflowu.

Krok 3: Generování animace

V tomto kroku oživíte svou animaci generováním snímků pomocí připravené maskové animace a hloubkových informací. Začněte načtením kontrolního bodu, například 1.5 kontrolního bodu pro AnimateDiff, spolu s jakýmikoli požadovanými LoRAs pro zvýšení kvality a stylu vašich generovaných snímků.

Nastavte jednoduchý kondicionační krok s pozitivním promptem, který popisuje část výsledné masky, která bude řezána. Tento prompt bude řídit proces generování a pomáhat udržovat konzistenci během celé animace. Aplikujte ControlNet depth založený na hloubce vašeho původního subjektu, aby generované snímky udržely požadované hloubkové charakteristiky.

Pokud máte větší oblasti, které potřebují in-painting, můžete volitelně povolit skupinu IP Adapter pro efektivnější zpracování těchto oblastí. Proveďte inferenci s Differential Diffusion a nastavte latentní šumovou masku. Zakódujte 32 snímků vašeho původního obrázku a manipulujte latentní prostor s šumem pro každý snímek, ale pouze v odpovídající bílé oblasti, která byla řezána.

Pro další zvýšení plynulosti a plynulosti vaší animace předávejte výsledné snímky přes uzel RIFE (Real-Time Intermediate Flow Estimation) pro interpolaci snímků. Tento proces zdvojnásobí počet snímků, čímž efektivně prodlouží vaše video a učiní ho plynulejším. Interpolací mezi generovanými snímky RIFE pomáhá vytvořit plynulejší a vizuálně přitažlivější animaci.

Na konci tohoto kroku budete mít kompletní animaci založenou na vašem původním obrázku, hloubkových informacích a maskové animaci.

Krok 4: Míchání různých animací (volitelné)

Pokud chcete svou animaci posunout na další úroveň, můžete vytvořit dvě různé animace, například oheň a led, pomocí stejného procesu jako dříve, ale s různými prompty a rekondicí hloubky. Rozdělte interval obrázků na pět sekcí. Vezměte první 25 % jedné animace a zbývajících 25 % (75 % až 100 %) druhé animace jako výchozí a koncové body. Smíchejte střední body (25 % až 40 %, 40 % až 60 %, 60 % až 75 %) obou animací tak, aby výsledná směs začala více jako první animace a postupně se stala více jako druhá animace.