IPAdapter V1 + AnimateDiff + ControlNet | Bevægelseskunst

1. Jellyfish Ballerina Workflow

Denne workflow skaber en fortryllende animation af en ballerina, der danser yndefuldt og efterligner en jellyfish's bevægelser under vandet. Udviklet af Matt3o, er dette fængslende projekt præsenteret på hans YouTube, hvilket giver masser af inspiration.

Vi bryder de væsentlige komponenter i denne workflow ned for at gøre det nemt for dig at forstå. Plus, du ser, hvordan du kan anvende denne metode til at skabe en række forskellige animerede kunstværker og udvide din kreative horisont.

2. Forbered Input

Inputmaterialerne inkluderer en video af en ballerina og et foto af en jellyfish som udgangspunkt. Målet er at skabe en animation, hvor ballerinaens bevægelser efterligner en jellyfish, der glider gennem vandet.

3. IPAdapter: Implementering af Tre IPAdapters

Denne workflow inkorporerer tre forskellige IPAdapters, hver med en unik rolle.

For det første er det afgørende at forstå, at IPAdapters spiller en betydelig rolle i at forfine og forbedre animationer. De tilføjer dybde, detaljer og stabilitet. En bemærkelsesværdig begrænsning er dog deres krav om, at inputbilleder skal være kvadratiske (f.eks. 224x224 pixels). Denne begrænsning passer ikke godt til alle typer videoindhold, især dem i portræt- eller landskabsformat.

For at navigere dette anvender workflowen to IPAdapters til ballerinaens øvre og nedre krop. Denne strategi overvinder begrænsningen af inputstørrelse ved at tillade uafhængig ændring af størrelsen på hver kropssektion til kvadratisk format, samtidig med at detaljer og proportioner bevares.

Første IPAdapter: Stabilisering af Øvre Krop og Hovedbevægelser Den første IPAdapter er dedikeret til at forfine ballerinaens øvre krop og hovedanimationer, hvilket sikrer, at de udtrykkes med klarhed og ynde.

Anden IPAdapter: Forfining af Nedre Kropsbevægelser Den anden IPAdapter fokuserer på ballerinaens nedre krop, inklusive benene, og forbedrer fluiditet og elegance for at matche den øvre krops bevægelser.

Tredje IPAdapter: Integration af Jellyfish Elementet Den sidste IPAdapter introducerer jellyfish-motivet, der fungerer som en tematisk anker for hele animationen. Den anvender et jellyfish-billede til at tilføre animationen væsenets æteriske og flydende kvaliteter og smelter dem sømløst sammen med ballerinaens dans.

4. Maske: Fjernelse af Baggrunden

En vigtig detalje i skabelsen af dette kunstværk er at håndtere de potentielle distraktioner fra ballerinaens oprindelige dansebaggrund. For at tackle dette oprettes masker for at isolere ballerinaen fra resten af videoen. Avancerede segmenteringsforprocessorer anvendes, som effektivt isolerer danseren og sikrer en mere fokuseret og præcis animation.

5. ControlNet: Sikring af Pose Nøjagtighed

At få ballerinaens pose helt rigtig er afgørende. Det er her, ControlNet kommer ind, der efterligner danserens bevægelser med præcision for at holde animationen i tråd med den tiltænkte koreografi. Det er afgørende for at fange essensen af danserens bevægelser og sikre, at hver ramme afspejler ynden og præcisionen af en virkelig ballerina.

6. AnimateDiff: Sikring af Fluiditet

I Jellyfish Ballerina-projektet er AnimateDiff afgørende for at skabe glidende overgange mellem rammerne, hvilket spejler den sømløse strøm af en jellyfish's bevægelser. Det spiller en vital rolle i at sikre animationens fluiditet, hvilket gør, at hver bevægelse smelter ubesværet ind i den næste og fanger essensen af elegance i bevægelse.

Ved at udnytte de ovenfor nævnte komponenter vil du være i stand til at genskabe den fortryllende dans af en ballerina som en jellyfish. Eksperimentering med forskellige inputvideoer og referencebilleder vil yderligere låse op for kreative muligheder i skabelsen af bevægelseskunst!