Z-Depth Maps | Houdini-liknande Animationer

Har du någonsin velat skapa fantastiska, Houdini-liknande animationer men känt dig avskräckt av komplexiteten i 3D-programvara? Sök inte längre! Detta innovativa ComfyUI-arbetsflöde kommer att vägleda dig genom processen att applicera djup (Z-Depth) manipulationer och generera fängslande animationer med endast 2D-bilder.

Oavsett om du är konstnär, designer eller entusiast, kommer du att kunna generera fantastiska animationer som ser ut och känns som om de skapades med avancerade 3D-tekniker, allt medan du arbetar med enkelheten och lättheten av 2D-bilder i ComfyUI.

Steg 1: Skapa en Startbild

För att börja behöver du skapa en startbild som kommer att fungera som bas för din animation. När du har din bild, skala ner den till en mindre storlek, som 1 megapixel, för att hålla filstorleken hanterbar.

Steg 2: Skapa en Maskanimation från en Enkel Bild

I detta steg kommer du att omvandla din enkla bild till en maskanimation. Börja med att skapa en video från din enkla bild genom att upprepa den för ett önskat antal ramar, till exempel 32. För att isolera ditt motiv, ta bort bakgrunden med en bakgrundsborttagningsmodell som InSPyR-Net. Efter att ha tagit bort bakgrunden, dra samman den resulterande masken något med några pixlar för att säkerställa att den fungerar bra med djupmanipulationsprocessen.

Nästa steg är att extrahera djupinformationen från din enkla ram och koppla den till kontrollnätets djup. Upprepa djupbilden för samma antal ramar som din video. Skicka de upprepade djupbilderna till Time Feature och Flex Mask Depth Chamber noderna. Time Feature-noden kommer att styra animationen genom tiden med en fast bildfrekvens. Ställ in effekttiden till "smooth" och välj ett lågt hastighetsvärde, som 0.1.

Tidsfunktionerna kommer att styra skivningen av ditt motiv längs Z-djupaxeln. Justera startpositionen för Z-front och Z-back planen för att börja åtgärden mitt i ditt motiv. Flytta båda planen med hjälp av "feature" parametern med en "squeeze" rörelse för att skapa den önskade skivningseffekten. För att förbättra den differentierade diffusionseffekten och säkerställa smidigare övergångar, lägg till en liten mängd oskärpa med inställningen "grow with blur".

I slutet av detta steg kommer du att ha konverterat din enkla bild till en maskanimation som är redo för djupmanipulations- och skivningsprocessen. Denna maskanimation kommer att fungera som grunden för att skapa Houdini-liknande effekten i de efterföljande stegen av arbetsflödet.

Steg 3: Generera Animationen

I detta steg kommer du att ge liv åt din animation genom att generera ramar med hjälp av den förberedda maskanimationen och djupinformationen. Börja med att ladda en checkpoint, som 1.5 checkpoint för AnimateDiff, tillsammans med eventuella önskade LoRAs för att förbättra kvaliteten och stilen på dina genererade ramar.

Ställ in ett enkelt konditioneringssteg med en positiv prompt som beskriver den del av den resulterande masken som kommer att skivas. Denna prompt kommer att styra genereringsprocessen och hjälpa till att bibehålla konsekvensen genom hela animationen. Applicera ett ControlNet-djup baserat på ditt ursprungliga motivs djup för att säkerställa att de genererade ramarna bibehåller de önskade djupkarakteristika.

Om du har större områden som behöver in-målning, kan du valfritt aktivera IP Adapter-gruppen för att hantera dessa områden mer effektivt. Utför inferensen med Differential Diffusion och ställ in latent brusmask. Koda de 32 ramarna av din ursprungliga bild och manipulera det latenta utrymmet med brus för varje ram, men endast i det motsvarande vita området som har skivats.

För att ytterligare förbättra smidigheten och flytbarheten i din animation, skicka de resulterande ramarna genom en RIFE (Real-Time Intermediate Flow Estimation) nod för bildinterpolering. Denna process kommer att fördubbla antalet ramar, vilket effektivt gör din video längre och smidigare. Genom att interpolera mellan de genererade ramarna, hjälper RIFE till att skapa en mer sömlös och visuellt tilltalande animation.

I slutet av detta steg kommer du att ha genererat en komplett animation baserad på din ursprungliga bild, djupinformation och maskanimation.

Steg 4: Blanda Olika Animationer (Valfritt)

Om du vill ta din animation till nästa nivå, kan du generera två olika animationer, som eld och is, med samma process som tidigare men med olika prompts och omkonditionering av djupet. Dela upp bildintervallet i fem sektioner. Ta de första 25% av en animation och de sista 25% (75% till 100%) av den andra animationen som start- och slutpunkter. Blanda mittpunkterna (25% till 40%, 40% till 60%, 60% till 75%) av båda animationerna så att den resulterande blandningen börjar mer som den första animationen och gradvis blir mer som den andra animationen.