Z-Depth Maps | Houdini-achtige Animaties

Heb je ooit verbluffende, Houdini-achtige animaties willen maken, maar voelde je je geïntimideerd door de complexiteit van 3D-software? Zoek niet verder! Deze innovatieve ComfyUI workflow begeleidt je door het proces van het toepassen van diepte (Z-Depth) manipulaties en het genereren van boeiende animaties met alleen 2D-afbeeldingen.

Of je nu een kunstenaar, ontwerper of liefhebber bent, je zult verbluffende animaties kunnen genereren die eruitzien en aanvoelen alsof ze zijn gemaakt met geavanceerde 3D-technieken, terwijl je werkt met de eenvoud en het gemak van 2D-afbeeldingen in ComfyUI.

Stap 1: Het maken van een startafbeelding

Om te beginnen moet je een startafbeelding genereren die als basis voor je animatie zal dienen. Zodra je je afbeelding hebt, schaal je deze terug naar een kleiner formaat, zoals 1 megapixel, om de bestandsgrootte beheersbaar te houden.

Stap 2: Het maken van een maskeranimatie van een enkele afbeelding

In deze stap transformeer je je enkele afbeelding in een maskeranimatie. Begin met het maken van een video van je enkele afbeelding door deze te herhalen voor een gewenst aantal frames, zoals 32. Om je onderwerp te isoleren, verwijder je de achtergrond met behulp van een achtergrondverwijderingsmodel zoals InSPyR-Net. Na het verwijderen van de achtergrond, trek je het resulterende masker een paar pixels samen om ervoor te zorgen dat het goed werkt met het dieptemanipulatieproces.

Vervolgens extraheer je de diepte-informatie uit je enkele frame en verbind je deze met de control net depth. Herhaal het dieptebeeld voor hetzelfde aantal frames als je video. Geef de herhaalde diepteframes door aan de Time Feature en Flex Mask Depth Chamber nodes. De Time Feature node zal de animatie door de tijd heen sturen met een vaste framesnelheid. Stel de effecttijd in op "smooth" en kies een lage snelheidswaarde, zoals 0.1.

De tijdskenmerken zullen het snijden van je onderwerp langs de Z-diepten-as sturen. Pas de startpositie van de Z-voor- en Z-achtervlakken aan om halverwege je onderwerp te beginnen. Beweeg beide vlakken met behulp van de "feature" parameter met een "squeeze" beweging om het gewenste snijeffect te creëren. Om het differentiële diffusie-effect te verbeteren en soepelere overgangen te garanderen, voeg je een kleine hoeveelheid vervaging toe met de "grow with blur" instelling.

Aan het einde van deze stap heb je je enkele afbeelding omgezet in een maskeranimatie die klaar is voor het dieptemanipulatie- en snijproces. Deze maskeranimatie zal dienen als de basis voor het creëren van het Houdini-achtige effect in de volgende stappen van de workflow.

Stap 3: De animatie genereren

In deze stap breng je je animatie tot leven door frames te genereren met behulp van de voorbereide maskeranimatie en diepte-informatie. Begin met het laden van een checkpoint, zoals de 1.5 checkpoint voor AnimateDiff, samen met eventuele gewenste LoRAs om de kwaliteit en stijl van je gegenereerde frames te verbeteren.

Stel een eenvoudige conditionering stap in met een positieve prompt die het deel van het resulterende masker beschrijft dat zal worden gesneden. Deze prompt zal het generatieproces begeleiden en helpen de consistentie door de animatie heen te behouden. Pas een ControlNet diepte toe op basis van de oorspronkelijke diepte van je onderwerp om ervoor te zorgen dat de gegenereerde frames de gewenste dieptekenmerken behouden.

Als je grotere gebieden hebt die moeten worden ingeschilderd, kun je optioneel de IP Adapter groep inschakelen om die regio's effectiever te verwerken. Voer de inferentie uit met Differential Diffusion en stel het latente ruis masker in. Encodeer de 32 frames van je oorspronkelijke afbeelding en manipuleer de latente ruimte met ruis voor elk frame, maar alleen in het corresponderende witte gebied dat is gesneden.

Om de soepelheid en vloeibaarheid van je animatie verder te verbeteren, geef je de resulterende frames door aan een RIFE (Real-Time Intermediate Flow Estimation) node voor frame-interpolatie. Dit proces zal het aantal frames verdubbelen, waardoor je video effectief langer en vloeiender wordt. Door te interpoleren tussen de gegenereerde frames helpt RIFE een meer naadloze en visueel aantrekkelijke animatie te creëren.

Aan het einde van deze stap heb je een complete animatie gegenereerd op basis van je oorspronkelijke afbeelding, diepte-informatie en maskeranimatie.

Stap 4: Verschillende animaties mengen (optioneel)

Als je je animatie naar een hoger niveau wilt tillen, kun je twee verschillende animaties genereren, zoals vuur en ijs, met behulp van hetzelfde proces als voorheen maar met verschillende prompts en herconditionering van de diepte. Verdeel het beeldinterval in vijf secties. Neem de eerste 25% van de ene animatie en de resterende 25% (75% tot 100%) van de andere animatie als de begin- en eindpunten. Meng de middelpunten (25% tot 40%, 40% tot 60%, 60% tot 75%) van beide animaties zodat de resulterende blend begint als de eerste animatie en geleidelijk meer lijkt op de tweede animatie.