Clay-Stil mit Unsampling

Dieser Workflow, erstellt von , untersucht Unsampling als Methode für konsistente Stilübertragung in ComfyUI. Für eine detaillierte Anleitung zur Verwendung von Unsampling, siehe: .

Mit diesem Workflow können Sie Ihr Video in eine Clay-Stil-Animation verwandeln. Der Prozess ist einfach und erfordert minimalen Aufwand, um einen nahtlosen und auffälligen Claymation-Look zu erzielen, der an traditionelle Stop-Motion-Clay-Animationen erinnert.

Der Unsampling-Prozess in ComfyUI konvertiert das Eingabevideo in latentes Rauschen, das die ursprüngliche Bewegung und Struktur bewahrt. Im Gegensatz zu zufälligem Rauschen dient dieses repräsentative Rauschen als Grundlage für den Diffusionsprozess und ermöglicht es der KI, den Clay-Stil anzuwenden und gleichzeitig die zeitliche Konsistenz über die Videoframes hinweg zu wahren.

Hauptkomponenten des Clay-Stil Unsampling-Workflows:

Inputs: Hier laden Sie Ihr Eingabevideo hoch. Die Einstellung frame_load_cap begrenzt die Anzahl der geladenen Frames aus der Eingabe. Die Einstellung select_every_nth überspringt Frames, um die Gesamtarbeitslast zu reduzieren. Die Erhöhung des select_every_nth-Werts beschleunigt den Prozess, kann jedoch die Glätte der endgültigen Clay-Stil-Animation beeinträchtigen.

Unsample: Die Unsample-Komponente verwendet euler-Sampling, um Rauschen zu finden, das das Eingabevideo genau repräsentiert. Durch Anpassen der cfg-Skalen können Sie den Unsampling-Prozess feiner abstimmen, um die Eingabe genauer nachzuahmen. Der Flip Sigma-Knoten kehrt den Diffusionsprozess um, indem er die Eingabeframes in latentes Rauschen umwandelt.

Prompt: Ein gut konstruierter Prompt kann das Endergebnis erheblich verbessern, insbesondere wenn ein markanter Clay-Stil angestrebt wird. Für diesen Stil könnte ein guter positiver Prompt "(claymation:1.15), Stop-Motion, (alles aus Ton:1.1), schöne Frau tanzt" sein. Dieser Prompt leitet das Modell an, die Animation in einer Weise nachzubilden, die echte Tonbewegungen und -texturen imitiert.

ControlNet: Die ControlNet-Komponente verwendet Depth ControlNet, vorverarbeitet durch DepthAnythingV2, um die Tiefe und Geometrie des Originalvideos beizubehalten. Dies stellt sicher, dass der Resampling-Prozess der Struktur des Eingabevideos folgt. Die Einstellung strength kontrolliert, wie viel Einfluss ControlNet auf das Ergebnis hat, wobei höhere Werte zu einer präziseren Strukturerhaltung führen.

Resample: Die Resample-Komponente nimmt das unsampled latente Rauschen und führt den Diffusionsprozess erneut durch, wobei der Clay-Stil angewendet wird, um einen glatten und konsistenten Claymation-Effekt zu erzeugen.

Outputs: Die endgültigen Ausgabeframes werden dekodiert, als einzelne Bilder gespeichert und dann zu einem hochskalierten MP4-Video kombiniert, das die ursprüngliche Bildrate beibehält und den neuen Clay-Stil-Effekt zeigt.

Der Clay-Stil ist nur eine von vielen aufregenden Möglichkeiten, die Sie mit diesem Unsampling-Workflow in ComfyUI erreichen können. Experimentieren Sie mit verschiedenen Prompts und Einstellungen, um Ihren einzigartigen Stil zu kreieren, und genießen Sie den Prozess, Ihre Videos in dynamische und visuell beeindruckende Animationen zu verwandeln!