IPAdapter V1 + AnimateDiff + ControlNet | Beweging Kunst

1. Jellyfish Ballerina Workflow

Deze workflow creëert een betoverende animatie van een ballerina die sierlijk danst, waarbij de bewegingen van een kwal onder water worden nagebootst. Ontwikkeld door Matt3o, wordt dit boeiende project getoond in zijn YouTube, wat veel inspiratie biedt.

We breken de essentiële componenten van deze workflow af om het voor jou gemakkelijk te maken om te begrijpen. Bovendien zie je hoe je deze methode kunt toepassen om een verscheidenheid aan geanimeerde kunstwerken te creëren, waardoor je creatieve bereik wordt vergroot.

2. Voorbereiding Input

Het invoermateriaal omvat een video van een ballerina en een foto van een kwal als uitgangspunten. Het doel is om een animatie te maken waarin de bewegingen van de ballerina de bewegingen van een kwal door het water weerspiegelen.

3. IPAdapter: Implementatie van Drie IPAdapters

Deze workflow bevat drie verschillende IPAdapters, elk met een unieke rol.

Ten eerste is het cruciaal om te begrijpen dat IPAdapters een belangrijke rol spelen bij het verfijnen en verbeteren van animaties. Ze voegen diepte, detail en stabiliteit toe. Een opmerkelijke beperking is echter dat ze invoerbeelden vereisen die vierkant zijn (bijv. 224x224 pixels). Deze beperking komt niet goed overeen met alle soorten videocontent, met name die in portret- of landschapsformaten.

Om dit te omzeilen, gebruikt de workflow twee IPAdapters voor het boven- en onderlichaam van de ballerina. Deze strategie overwint de invoerformaatbeperking door onafhankelijke resizing van elk lichaamsdeel in het vierkante formaat mogelijk te maken, waarbij detail en proportie behouden blijven.

Eerste IPAdapter: Stabiliseren van Bovenlichaam en Hoofdbewegingen De eerste IPAdapter is gewijd aan het verfijnen van de bovenlichaam- en hoofdanimaties van de ballerina, zodat deze met helderheid en gratie worden uitgedrukt.

Tweede IPAdapter: Verfijnen van Onderlichaambewegingen De tweede IPAdapter richt zich op het onderlichaam van de ballerina, inclusief de benen, om de vloeiendheid en elegantie te verbeteren, zodat deze overeenkomen met de bewegingen van het bovenlichaam.

Derde IPAdapter: Integreren van het Kwal Element De laatste IPAdapter introduceert het kwalthema, dat fungeert als een thematisch anker voor de hele animatie. Het gebruikt een kwalbeeld om de animatie te doordrenken met de etherische en vloeiende eigenschappen van het wezen, en deze naadloos te laten samensmelten met de dans van de ballerina.

4. Masker: Elimineren van de Achtergrond

Een belangrijk detail bij het maken van dit kunstwerk is het omgaan met mogelijke afleidingen van de oorspronkelijke dansachtergrond van de ballerina. Om dit aan te pakken worden maskers gemaakt om de ballerina te isoleren van de rest van de video. Geavanceerde segmentatievoorverwerkers worden gebruikt, die de danser effectief isoleren, wat zorgt voor een meer gerichte en precieze animatie.

5. ControlNet: Zorgen voor Pose Nauwkeurigheid

Het is cruciaal om de pose van de ballerina precies goed te krijgen. Hier komt ControlNet om de hoek kijken, dat de bewegingen van de danser met precisie nabootst om de animatie in lijn te houden met de beoogde choreografie. Het is instrumenteel in het vastleggen van de essentie van de bewegingen van de danser, waardoor elk frame de gratie en precisie van een echte ballerina weergeeft.

6. AnimateDiff: Zorgen voor Vloeiendheid

In het Jellyfish Ballerina-project is AnimateDiff cruciaal voor het creëren van soepele overgangen tussen frames, waarbij de naadloze bewegingen van een kwal worden nagebootst. Het speelt een vitale rol in het waarborgen van de vloeiendheid van de animatie, waardoor elke beweging moeiteloos in de volgende overgaat en de essentie van elegantie in beweging wordt vastgelegd.

Door gebruik te maken van de hierboven beschreven componenten kun je de betoverende dans van een ballerina als een kwal opnieuw creëren. Experimenteren met verschillende invoervideo's en referentiebeelden zal verdere creatieve mogelijkheden in bewegende kunstcreatie ontgrendelen!