IPAdapter V1 + AnimateDiff + ControlNet | Bevegelseskunst

1. Jellyfish Ballerina Workflow

Denne arbeidsflyten skaper en fortryllende animasjon av en ballerina som danser grasiøst, etterlignende bevegelsene til en manet under vann. Utviklet av Matt3o, dette fengslende prosjektet er vist på hans YouTube, og gir rikelig inspirasjon.

Vi bryter ned de essensielle komponentene i denne arbeidsflyten for å gjøre det enkelt for deg å forstå. I tillegg ser du hvordan du kan bruke denne metoden for å lage en rekke animerte kunstverk, og utvide ditt kreative omfang.

2. Forbered Input

Inngangsmaterialene inkluderer en video av en ballerina og et bilde av en manet som utgangspunkt. Målet er å lage en animasjon der ballerinaens bevegelser gjenspeiler de av en manet som glir gjennom vannet.

3. IPAdapter: Implementering av Tre IPAdapters

Denne arbeidsflyten inkorporerer tre distinkte IPAdapters, hver med en unik rolle.

For det første er det avgjørende å forstå at IPAdapters spiller en betydelig rolle i å raffinere og forbedre animasjoner. De legger til dybde, detaljer og stabilitet. En bemerkelsesverdig begrensning er imidlertid deres krav om at inputbilder må være kvadratiske (f.eks. 224x224 piksler). Denne begrensningen passer ikke godt for alle typer videoinnhold, spesielt de i portrett- eller landskapsformat.

For å navigere dette, bruker arbeidsflyten to IPAdapters for den øvre og nedre delen av ballerinaen. Denne strategien overvinner inngangsstørrelsesbegrensningen ved å tillate uavhengig resizing av hver kroppsdel til kvadratisk format, og bevarer detaljer og proporsjon.

Første IPAdapter: Stabilisering av Øvre Kropp og Hodebevegelser Den første IPAdapteren er dedikert til å raffinere animasjonene av ballerinaens øvre kropp og hode, og sikrer at de uttrykkes med klarhet og eleganse.

Andre IPAdapter: Raffinering av Nedre Kroppsbevegelser Den andre IPAdapteren fokuserer på ballerinaens nedre kropp, inkludert bena, og forbedrer flyt og eleganse for å matche den øvre kroppens bevegelser.

Tredje IPAdapter: Integrering av Manetelementet Den siste IPAdapteren introduserer manetmotivet, som fungerer som en tematisk forankring for hele animasjonen. Den bruker et bilde av en manet for å tilføre animasjonen skapningens eteriske og flytende kvaliteter, og fusjonerer dem sømløst med ballerinaens dans.

4. Mask: Eliminering av Bakgrunnen

En viktig detalj i skapelsen av dette kunstverket er å håndtere potensielle distraksjoner fra ballerinaens originale dansebakgrunn. For å takle dette, opprettes masker for å isolere ballerinaen fra resten av videoen. Avanserte segmenteringsforbehandlere brukes, som effektivt isolerer danseren, og sikrer en mer fokusert og presis animasjon.

5. ControlNet: Sikring av Posenøyaktighet

Å få ballerinaens positur akkurat riktig er avgjørende. Det er her ControlNet kommer inn, og etterligner danserens bevegelser med presisjon for å holde animasjonen i tråd med den tiltenkte koreografien. Det er viktig for å fange essensen av danserens bevegelser, og sikrer at hver ramme reflekterer nåden og presisjonen til en ekte ballerina.

6. AnimateDiff: Sikrer Flyt

I Jellyfish Ballerina-prosjektet er AnimateDiff avgjørende for å lage jevne overganger mellom rammer, som speiler den sømløse flyten av en manets bevegelser. Det spiller en viktig rolle i å sikre animasjonens flyt, og gjør at hver bevegelse smelter uanstrengt inn i den neste og fanger essensen av eleganse i bevegelse.

Å utnytte komponentene som er skissert ovenfor vil gjøre det mulig for deg å gjenskape den fengslende dansen til en ballerina som en manet. Å eksperimentere med forskjellige inputvideoer og referansebilder vil ytterligere låse opp kreative muligheter i skapelsen av bevegelseskunst!