IPAdapter V1 + AnimateDiff + ControlNet | Bewegungskunst

1. Jellyfish Ballerina Workflow

Dieser Workflow erstellt eine bezaubernde Animation einer Ballerina, die anmutig tanzt und dabei die Bewegungen einer Qualle unter Wasser nachahmt. Entwickelt von Matt3o, wird dieses fesselnde Projekt auf seinem YouTube vorgestellt und bietet reichlich Inspiration.

Wir zerlegen die wesentlichen Komponenten dieses Workflows, damit Sie ihn leicht verstehen können. Außerdem sehen Sie, wie Sie diese Methode anwenden können, um eine Vielzahl von animierten Kunstwerken zu erstellen und Ihren kreativen Spielraum zu erweitern.

2. Eingabe vorbereiten

Das Eingabematerial umfasst ein Video einer Ballerina und ein Foto einer Qualle als Ausgangspunkte. Ziel ist es, eine Animation zu erstellen, bei der die Bewegungen der Ballerina die einer Qualle widerspiegeln, die durch das Wasser gleitet.

3. IPAdapter: Implementierung von drei IPAdapters

Dieser Workflow enthält drei verschiedene IPAdapters, die jeweils eine einzigartige Rolle spielen.

Zunächst ist es wichtig zu verstehen, dass IPAdapters eine bedeutende Rolle bei der Verfeinerung und Verbesserung von Animationen spielen. Sie fügen Tiefe, Details und Stabilität hinzu. Eine bemerkenswerte Einschränkung ist jedoch, dass die Eingabebilder quadratisch sein müssen (z. B. 224x224 Pixel). Diese Einschränkung passt nicht gut zu allen Arten von Videoinhalten, insbesondere zu solchen im Hoch- oder Querformat.

Um dies zu umgehen, verwendet der Workflow zwei IPAdapters für den Oberkörper und den Unterkörper der Ballerina. Diese Strategie überwindet die Einschränkung der Eingabegröße, indem jeder Körperbereich unabhängig voneinander in das quadratische Format umgewandelt wird, wodurch Details und Proportionen erhalten bleiben.

Erster IPAdapter: Stabilisierung der Bewegungen von Oberkörper und Kopf Der erste IPAdapter ist der Verfeinerung der Animationen des Oberkörpers und des Kopfes der Ballerina gewidmet und stellt sicher, dass sie mit Klarheit und Anmut ausgedrückt werden.

Zweiter IPAdapter: Verfeinerung der Bewegungen des Unterkörpers Der zweite IPAdapter konzentriert sich auf den Unterkörper der Ballerina, einschließlich der Beine, und verbessert die Flüssigkeit und Eleganz, um sie an die Bewegungen des Oberkörpers anzupassen.

Dritter IPAdapter: Integration des Quallen-Elements Der letzte IPAdapter führt das Quallenmotiv ein und dient als thematischer Anker für die gesamte Animation. Er verwendet ein Quallenbild, um die Animation mit den ätherischen und fließenden Eigenschaften des Geschöpfs zu durchdringen und sie nahtlos mit dem Tanz der Ballerina zu verschmelzen.

4. Maske: Eliminierung des Hintergrunds

Ein wichtiges Detail bei der Erstellung dieses Kunstwerks ist der Umgang mit den möglichen Ablenkungen durch den ursprünglichen Tanzhintergrund der Ballerina. Um dies zu bewältigen, werden Masken erstellt, um die Ballerina vom Rest des Videos zu isolieren. Es werden fortschrittliche Segmentierungs-Präprozessoren eingesetzt, die die Tänzerin effektiv isolieren und so eine fokussiertere und präzisere Animation gewährleisten.

5. ControlNet: Gewährleistung der Positionsgenauigkeit

Die Pose der Ballerina genau richtig hinzubekommen, ist entscheidend. Hier kommt ControlNet ins Spiel, das die Bewegungen der Tänzerin präzise nachahmt, um die Animation im Einklang mit der beabsichtigten Choreografie zu halten. Es spielt eine wichtige Rolle bei der Erfassung der Essenz der Bewegungen der Tänzerin und stellt sicher, dass jeder Frame die Anmut und Präzision einer echten Ballerina widerspiegelt.

6. AnimateDiff: Gewährleistung der Flüssigkeit

Im Jellyfish Ballerina-Projekt ist AnimateDiff entscheidend für die Erstellung fließender Übergänge zwischen den Frames und spiegelt den nahtlosen Fluss der Bewegungen einer Qualle wider. Es spielt eine entscheidende Rolle bei der Gewährleistung der Flüssigkeit der Animation, indem es jede Bewegung nahtlos in die nächste übergehen lässt und die Essenz der Eleganz in Bewegung einfängt.

Die Nutzung der oben beschriebenen Komponenten ermöglicht es Ihnen, den faszinierenden Tanz einer Ballerina als Qualle nachzubilden. Durch Experimentieren mit verschiedenen Eingabevideos und Referenzbildern werden weitere kreative Möglichkeiten bei der Erstellung von Bewegungskunst freigesetzt!