Z-Dybde Kort | Houdini-lignende Animationer

Har du nogensinde ønsket at skabe fantastiske, Houdini-lignende animationer, men følt dig intimideret af kompleksiteten i 3D software? Se ikke længere! Denne innovative ComfyUI arbejdsgang vil guide dig gennem processen med at anvende dybde (Z-Dybde) manipulationer og generere fængslende animationer ved kun at bruge 2D billeder.

Uanset om du er kunstner, designer eller entusiast, vil du kunne generere fantastiske animationer, der ser ud og føles som om de er skabt med avancerede 3D teknikker, alt imens du arbejder med enkelheden og letheden af 2D billeder i ComfyUI.

Step 1: Oprettelse af et Startbillede

For at begynde skal du generere et startbillede, der vil tjene som grundlag for din animation. Når du har dit billede, skal du skalere det ned til en mindre størrelse, som f.eks. 1 megapixel, for at holde filstørrelsen håndterbar.

Step 2: Oprettelse af en Maske Animation fra et Enkelt Billede

I dette trin vil du omdanne dit enkeltbillede til en maske animation. Begynd med at skabe en video fra dit enkeltbillede ved at gentage det for et ønsket antal frames, f.eks. 32. For at isolere dit motiv, fjern baggrunden ved hjælp af en model til baggrundsfjernelse som InSPyR-Net. Efter at have fjernet baggrunden, skal du let formindske den resulterende maske med et par pixels for at sikre, at den fungerer godt med dybde-manipulationsprocessen.

Dernæst skal du udtrække dybdeinformationen fra din enkeltframe og forbinde den til kontrolnetdybden. Gentag dybdebilledet for det samme antal frames som din video. Send de gentagne dybdeframes til Time Feature og Flex Mask Depth Chamber noderne. Time Feature noden vil guide animationen gennem tiden med en fast frame rate. Indstil effekttiden til "smooth" og vælg en lav hastighedsværdi, som f.eks. 0.1.

Tidsegenskaberne vil kontrollere skæringen af dit motiv langs Z-dybde-aksen. Juster startpositionen af Z-front og Z-back planerne for at starte handlingen midtvejs gennem dit motiv. Flyt begge planer ved hjælp af "feature" parameteren med en "squeeze" bevægelse for at skabe den ønskede skæringseffekt. For at forbedre den differentielle diffusionseffekt og sikre glattere overgange, tilføj en lille mængde sløring ved hjælp af "grow with blur" indstillingen.

Ved slutningen af dette trin vil du have konverteret dit enkeltbillede til en maske animation, der er klar til dybde-manipulations- og skæringsprocessen. Denne maske animation vil tjene som grundlag for at skabe Houdini-lignende effekter i de efterfølgende trin af arbejdsgangen.

Step 3: Generering af Animationen

I dette trin vil du bringe din animation til live ved at generere frames ved hjælp af den forberedte maske animation og dybdeinformation. Begynd med at indlæse et checkpoint, som f.eks. 1.5 checkpoint for AnimateDiff, sammen med eventuelle ønskede LoRAs for at forbedre kvaliteten og stilen af dine genererede frames.

Opsæt et simpelt konditioneringstrin med en positiv prompt, der beskriver den del af den resulterende maske, der vil blive skåret. Denne prompt vil guide genereringsprocessen og hjælpe med at opretholde konsistens gennem hele animationen. Anvend en ControlNet dybde baseret på dit oprindelige motivs dybde for at sikre, at de genererede frames bevarer de ønskede dybdekarakteristika.

Hvis du har større områder, der skal males ind, kan du valgfrit aktivere IP Adapter gruppen for at håndtere disse områder mere effektivt. Udfør inferensen med Differential Diffusion og indstil den latente støjmaske. Kod de 32 frames af dit oprindelige billede og manipuler det latente rum med støj for hver frame, men kun i det tilsvarende hvide område, der er blevet skåret.

For yderligere at forbedre glatheden og flydende bevægelser af din animation, send de resulterende frames gennem en RIFE (Real-Time Intermediate Flow Estimation) node for frame interpolation. Denne proces vil fordoble antallet af frames, hvilket effektivt gør din video længere og glattere. Ved at interpolere mellem de genererede frames hjælper RIFE med at skabe en mere sømløs og visuelt tiltalende animation.

Ved slutningen af dette trin vil du have genereret en komplet animation baseret på dit oprindelige billede, dybdeinformation og maske animation.

Step 4: Blending Different Animations (Optional)

Hvis du vil tage din animation til det næste niveau, kan du generere to forskellige animationer, som f.eks. ild og is, ved hjælp af den samme proces som før, men med forskellige prompts og reconditionering af dybden. Del billedintervallet i fem sektioner. Tag de første 25% af den ene animation og de resterende 25% (75% til 100%) af den anden animation som start- og slutpunkter. Blend de midterste punkter (25% til 40%, 40% til 60%, 60% til 75%) af begge animationer, så den resulterende blend starter mere som den første animation og gradvist bliver mere som den anden animation.