AnimateLCM | Zrychlete text na video

1. ComfyUI AnimateLCM Workflow

ComfyUI AnimateLCM Workflow je navržen tak, aby zrychlil AI animace. Staví na základech ComfyUI-AnimateDiff-Evolved a začleňuje AnimateLCM, aby konkrétně urychlil tvorbu text-to-video (t2v) animací. Můžete experimentovat s různými prompty a kroky, abyste dosáhli požadovaných výsledků.

2. Přehled AnimateLCM

Nástup technologií jako SDXL, LCM a SDXL Turbo významně zvýšil rychlost generování obrazů. AnimateLCM dále urychluje pokrok v AI animacích. Podporuje rychlou generaci obrazů do videa a je zaměřen na zvýšení rychlosti a efektivity produkce animovaných videí ze statických obrazů nebo textových popisů, což je obzvláště užitečné pro rychlou tvorbu personalizovaných animačních efektů.

2.1. Úvod do AnimateLCM

AnimateLCM je navržen tak, aby urychlil animaci personalizovaných difuzních modelů a adaptérů prostřednictvím odděleného učení konzistence. Je inspirován Consistency Modelem (CM), který destiluje předtrénované modely difuze obrazů, aby urychlil proces vzorkování, a jeho rozšířením, Latent Consistency Modelem (LCM), který se zaměřuje na podmíněnou generaci obrazů. AnimateLCM využívá tyto základy k umožnění tvorby videí s vysokou věrností v několika krocích, stavějíc na úspěchu technik difuze obrazů a generování, aby rozšířil jejich schopnosti do oblasti videa.

2.2. Jak používat AnimateLCM ve vašem workflow ComfyUI

Tento workflow staví na ComfyUI-AnimateDiff-Evolved Workflow. Následující jsou konfigurační parametry v uzlu "Use Evolved Sampling".

Models: Nastavte checkpoint model a LoRA model.

• Checkpoint: Týká se vstupů modelu StableDiffusion (SD) využívaných pro tvorbu animací. V závislosti na zvolených modelech pohybu se může kompatibilita lišit mezi verzemi SD, jako je SD1.5 nebo SDXL.
• LoRA: Začlenění AnimateLCM LoRA modelu k bezproblémové integraci stávajících adaptérů pro různé funkce, zvyšující efektivitu a kvalitu výstupu s důrazem na učení konzistence bez obětování rychlosti vzorkování.

Motion Models (M Models): Tyto jsou výstupy z procesu Apply AnimateDiff Model, umožňující použití AnimateLCM Motion Modelu.

Context Options: Tyto nastavení upravují činnost AnimateDiff během produkce animací, umožňující animace jakékoli délky prostřednictvím posuvných kontextových oken napříč celým Unetem nebo specificky v modulu pohybu. Umožňují také časové úpravy pro složité animační sekvence. Odkazujte zde pro komplexní průvodce AnimateDiff

Beta Schedule in Sample Settings: Zvolte LCM. V rámci Sample Settings AnimateDiff v ComfyUI, volba "beta schedule," včetně možností jako "lcm," "lineart," atd., jemně nastavuje beta hodnoty, které regulují úrovně šumu během procesu difuze. Tato přizpůsobení ovlivňují vizuální styl a plynulost animace. Každé nastavení odpovídá specifickým potřebám animace nebo modelu pohybu.

• LCM (Latent Consistency Module): Nastavení "lcm" je přizpůsobeno pro LCM LoRA, zvyšující jednotnost animace a snižující čas tvorby. Dosahuje rychlejší konvergence s menším počtem kroků, vyžadující snížení kroků (na minimum ~4 kroky) a další úpravy parametrů pro optimální zachování detailů.
• Linear (AnimateDiff-SDXL): Doporučeno pro AnimateDiff s SDXL motion modules, tato volba vyvažuje zachování detailů a plynulý pohyb, naznačující kompatibilitu s konkrétními verzemi modelů pohybu.
• Sqrt_lineart (AnimateDiff): Podobně jako "lineart," tato varianta je navržena pro procesy AnimateDiff, zejména s V2 motion modules, upravující úrovně šumu tak, aby doplňovaly výstup modelu pohybu pro plynulejší přechody nebo pohyby.