AnimateLCM | Przyśpiesz tekst na wideo

1. ComfyUI AnimateLCM Workflow

ComfyUI AnimateLCM Workflow został zaprojektowany, aby zwiększyć szybkość animacji AI. Opierając się na fundamentach ComfyUI-AnimateDiff-Evolved, ten workflow wprowadza AnimateLCM, aby przyspieszyć tworzenie animacji tekstu na wideo (t2v). Możesz eksperymentować z różnymi promptami i krokami, aby osiągnąć pożądane rezultaty.

2. Przegląd AnimateLCM

Pojawienie się technologii takich jak SDXL, LCM i SDXL Turbo znacznie przyspieszyło tempo generowania obrazów. AnimateLCM dodatkowo napędza postęp w animacji AI. Wspiera szybkie generowanie obrazu na wideo i ma na celu zwiększenie szybkości i efektywności produkcji animowanych wideo z obrazów statycznych lub opisów tekstowych, co jest szczególnie przydatne do szybkiego tworzenia spersonalizowanych efektów animacyjnych.

2.1. Wprowadzenie do AnimateLCM

AnimateLCM jest zaprojektowany, aby przyspieszyć animację spersonalizowanych modeli dyfuzji i adapterów poprzez oddzielne uczenie konsystencji. Jest inspirowany modelem Consistency Model (CM), który destyluje wstępnie wytrenowane modele dyfuzji obrazów, aby przyspieszyć proces próbkowania, oraz jego rozszerzeniem, Latent Consistency Model (LCM), który koncentruje się na warunkowym generowaniu obrazów. AnimateLCM wykorzystuje te podstawy, aby umożliwić tworzenie wideo o wysokiej jakości w kilku krokach, opierając się na sukcesie technik dyfuzji i generowania obrazów, aby rozszerzyć ich możliwości na domenę wideo.

2.2. Jak używać AnimateLCM w swoim workflow ComfyUI

Ten workflow opiera się na ComfyUI-AnimateDiff-Evolved Workflow. Poniżej znajdują się parametry konfiguracyjne w węźle "Use Evolved Sampling".

Models: Ustaw model checkpoint i model LoRA.

• Checkpoint: Odnosi się do wejść modelu StableDiffusion (SD) wykorzystywanych do tworzenia animacji. W zależności od wybranych modeli ruchu, kompatybilność może się różnić w zależności od wersji SD, takich jak SD1.5 lub SDXL.
• LoRA: Włączenie modelu AnimateLCM LoRA w celu płynnej integracji istniejących adapterów dla różnych funkcji, zwiększając efektywność i jakość wyjścia z naciskiem na uczenie konsystencji bez poświęcania szybkości próbkowania.

Motion Models (M Models): Są to wyjścia z procesu Apply AnimateDiff Model, umożliwiające użycie AnimateLCM Motion Model.

Context Options: Te ustawienia dostosowują działanie AnimateDiff podczas produkcji animacji, umożliwiając animacje dowolnej długości poprzez przesuwanie okien kontekstowych w całym Unet lub w samym module ruchu. Umożliwiają również dostosowanie czasu dla złożonych sekwencji animacyjnych. Odwołaj się tutaj do kompleksowego przewodnika po AnimateDiff

Beta Schedule in Sample Settings: Wybierz LCM. W ustawieniach próbkowania AnimateDiff w ComfyUI, wybór "beta schedule", w tym opcje takie jak "lcm", "lineart" itp., dostosowuje wartości beta, które regulują poziom szumu w całym procesie dyfuzji. Ta personalizacja wpływa na styl wizualny i płynność animacji. Każde ustawienie jest dostosowane do określonych potrzeb animacji lub modelu ruchu.

• LCM (Latent Consistency Module): Ustawienie "lcm" jest dostosowane do LCM LoRAs, zwiększając jednolitość animacji i skracając czas tworzenia. Osiąga szybszą konwergencję przy mniejszej liczbie kroków, wymagając redukcji kroków (do minimum ~4 kroków) i innych dostosowań parametrów, aby zoptymalizować zachowanie szczegółów.
• Linear (AnimateDiff-SDXL): Zalecane dla AnimateDiff z modułami ruchu SDXL, to ustawienie równoważy zachowanie szczegółów i płynność ruchu, wskazując na kompatybilność z określonymi wersjami modeli ruchu.
• Sqrt_lineart (AnimateDiff): Podobne do "lineart", ta wariacja jest zaprojektowana dla procesów AnimateDiff, szczególnie z modułami ruchu V2, modyfikując poziomy szumu, aby uzupełnić wyjście modelu ruchu dla bardziej płynnych przejść lub ruchów.