Epische CineFX | CogVideoX, ControlNet und Live Portrait Workflow

Was ist der ComfyUI CogVideoX Workflow

Er verwandelt Ihr einfaches Videomaterial in epische filmische Szenen mit dem ComfyUI CogVideoX-Integrations-Workflow. Dieser Workflow nutzt die Kraft von CogVideoX, ControlNet und Live Portrait, um professionelle visuelle Darstellungen zu liefern, ohne teure Ausrüstung zu erfordern. Ob Sie ein unabhängiger Filmemacher oder ein Kreativer sind, der KI-gesteuerte Videoproduktion erforscht, dieses Tool befähigt Sie, kreative Grenzen zu überschreiten.

Hauptmerkmale des CogVideoX Workflows

• CogVideoX: Erstellen Sie detaillierte filmische Szenen mit KI-gesteuerter Präzision.
• ControlNet Integration: Fügen Sie Posierungs-, Kanten- und Tiefenführung hinzu, um beispiellose Kontrolle über den Transformationsprozess zu erlangen.
• Live Portrait: Verfeinern Sie Schauspielperformances und bewahren Sie die Konsistenz der Gesichtsdetails.
• Vergleichsausgabe: Analysieren Sie generierte Ergebnisse Seite an Seite mit dem Originalmaterial zur Verfeinerung und zum Teilen.

Wie man den CogVideoX Workflow verwendet

1. Hauptkomponenten des CogVideoX Workflows

Der CogVideoX Workflow bietet zwei Hauptkomponenten, die darauf ausgelegt sind, außergewöhnliche filmische Ergebnisse zu liefern:

1. Videoerzeugung mit CogVideoX:
   • Diese Phase verarbeitet Videoframes und integriert ControlNet-Führung, um präzise Posierungs-, Kanten- und Tiefenausrichtung für professionelle visuelle Darstellungen zu gewährleisten.
2. Live Portrait Integration in CogVideoX:
   • Verbessert die Schauspielperformance, indem Gesichtsdetails verfeinert und Konsistenz über die Frames hinweg bewahrt werden, perfekt für Szenen, die detaillierte Ausdrücke erfordern.
   

Tipps für die effiziente Nutzung des CogVideoX Workflows

• Standardempfehlung:
  • Beginnen Sie mit dem Videoerzeugungsschritt, um die Verarbeitungszeit und Ressourcen zu optimieren. Dies ist ideal für die meisten filmischen Transformationen mit CogVideoX.
• Wann Live Portrait verwenden:
  • Aktivieren Sie diese Komponente, wenn die Schauspieldetails oder Gesichtsausdrücke während der anfänglichen Videoerzeugung nicht genau übertragen werden. Es stellt sicher, dass das endgültige Ergebnis ein natürliches und kohärentes Erscheinungsbild beibehält.

2. CogVideoX Workflow ausführen

1. Laden Sie Ihr Video hoch:
   • Verwenden Sie den Load Video-Knoten, um Ihr Filmmaterial hochzuladen.
   • Konfigurieren Sie die Anzahl der zu verarbeitenden Frames:
     • Standard: 48 Frames (trainiert auf CogVideoX).
     • Höhere Frame-Zahlen (z.B. 64) sind mit geeigneten GPU-Fähigkeiten möglich.
     
2. Auflösung anpassen:
   • Stellen Sie die Videoauflösung im Resize Image-Knoten ein.
   • Empfohlen: Breite: 768, Höhe: 432.
   
3. ControlNet Konfiguration:
   • Wählen Sie den gewünschten Führungsmodus mit dem Switch Node:
     • Input1: Originalvideo für Bild-zu-Bild-Transformationen.
     • Input2(Pose): Am besten geeignet, um Bewegungen und dynamische Posen von Charakteren einzufangen.
     • Input3(Canny): Ideal zur Erhaltung der Szenenstruktur durch Kantenerkennung.
     • Input4(Depth): Bietet räumliche Konsistenz, besonders nützlich für komplexe Hintergründe.
   • Passen Sie die ControlNet-Stärke an, um die Eingabetreue und kreative Freiheit auszugleichen.
   
4. Prompts schreiben:

   • Verwenden Sie Positive und Negative Prompts, um die Ästhetik der Szene zu definieren.

   • Beispiel für einen positiven Prompt:

     Ein mystischer Wald mit leuchtenden Bäumen, filmischer Stil, hochdetailliert.

   

3. Videobearbeitung mit dem CogVideoX Workflow

1. Videoerzeugung ausführen:
   • Deaktivieren Sie Live Portrait zunächst, um die Verarbeitungszeit zu sparen.
   • Stellen Sie Ihre Prompts in die Warteschlange und beginnen Sie mit der Verarbeitung.
   
2. Live Portrait aktivieren (optional):
   • Verwenden Sie Live Portrait, um Gesichtsdetails und Schauspielperformances zu verfeinern.
   • Fügen Sie spezifische Ausdrücke (z.B. "hell lächelnd") zu den Prompts hinzu, um die Ergebnisse zu verbessern.

4. Vergleich von Videos mit dem CogVideoX Workflow

• Aktivieren Sie die integrierte Vergleichsausgabe, um Unterschiede zwischen Original- und generierten Videos zu bewerten.
• Verwenden Sie diese Funktion, um Ergebnisse zu präsentieren oder sie auf sozialen Plattformen zu teilen.

Erweiterte Tipps für den CogVideoX Workflow

• Frame-Optimierung:
  • Verwenden Sie "Jeden n-ten Frame" für längere Videos, um die Verarbeitungszeit zu reduzieren, während fehlende Frames interpoliert werden.
• Kreative Prompts:
  • Experimentieren Sie mit verschiedenen Prompts für einzigartige visuelle Stile.
• ControlNet Feinabstimmung:
  • Passen Sie die ControlNet-Stärke an, um mehr kreative Freiheit oder strengere Einhaltung des Eingabevideos zu erreichen.
  

Beispielanwendung des CogVideoX Workflows

1. Laden Sie ein Garten-Video von jemandem, der spaziert.

2. Wenden Sie den folgenden Prompt an:

   Verwandeln Sie den Garten in eine futuristische Stadtlandschaft mit leuchtenden Neonlichtern, filmischer Stil.

3. Verwenden Sie ControlNet (Depth) für räumliche Konsistenz.

4. Verarbeiten Sie das Video und verfeinern Sie die Schauspielperformance mit Live Portrait, falls nötig.

5. Nutzen Sie die Vergleichsfunktion, um die Transformation zu präsentieren.

Credits für den CogVideoX Workflow

Dieser bemerkenswerte Workflow wurde von Mickmumpitz geschaffen, dessen Kreativität und technisches Fachwissen dies möglich gemacht haben. Voller Dank gebührt Mickmumpitz! Für ein umfassendes Tutorial besuchen Sie seinen YouTube-Kanal: .