AnimateLCM | Snabba upp text till video

1. ComfyUI AnimateLCM Arbetsflöde

ComfyUI AnimateLCM Arbetsflöde är utformat för att förbättra hastigheten på AI-animering. Genom att bygga på grunderna i ComfyUI-AnimateDiff-Evolved, innehåller detta arbetsflöde AnimateLCM för att specifikt påskynda skapandet av text-till-video (t2v) animeringar. Du kan experimentera med olika prompts och steg för att uppnå önskade resultat.

2. Översikt av AnimateLCM

Framväxten av teknologier som SDXL, LCM, och SDXL Turbo har avsevärt ökat takten på bildgenerering. AnimateLCM driver framstegen inom AI-animering ytterligare. Det stödjer snabb bild-till-video generering och syftar till att förbättra hastigheten och effektiviteten i att producera animerade videor från stillbilder eller textbeskrivningar, vilket gör det särskilt användbart för att snabbt skapa personliga animeringseffekter.

2.1. Introduktion till AnimateLCM

AnimateLCM är utformat för att påskynda animeringen av personliga diffusionsmodeller och adaptrar genom decoupled consistency learning. Det är inspirerat av Consistency Model (CM), som destillerar förtränade bilddiffusionsmodeller för att påskynda samplingsprocessen, och dess förlängning, Latent Consistency Model (LCM), som fokuserar på villkorlig bildgenerering. AnimateLCM utnyttjar dessa grunder för att möjliggöra skapandet av videor med hög kvalitet på några få steg, genom att bygga på framgången med bilddiffusions- och genereringstekniker för att utöka deras möjligheter till videodomänen.

2.2. Hur man använder AnimateLCM i ditt ComfyUI Arbetsflöde

Detta arbetsflöde bygger på ComfyUI-AnimateDiff-Evolved Arbetsflöde. Följande är konfigurationsparametrarna i "Use Evolved Sampling" noden.

Models: Ställ in checkpoint model och LoRA model.

• Checkpoint: Detta avser StableDiffusion (SD) modellinsatser som används för animeringsskapande. Beroende på de valda rörelsemodellerna kan kompatibilitet variera mellan SD-versioner, såsom SD1.5 eller SDXL.
• LoRA: Inkorporera AnimateLCM LoRA model för att sömlöst integrera befintliga adaptrar för en mängd olika funktioner, vilket förbättrar effektiviteten och utgångskvaliteten med fokus på consistency learning utan att offra samplingshastighet.

Motion Models (M Models): Dessa är utgångarna från Apply AnimateDiff Model processen, vilket möjliggör användningen av AnimateLCM Motion Model.

Context Options: Dessa inställningar justerar AnimateDiff's drift under animeringsproduktionen, vilket möjliggör animationer av valfri längd genom att glida kontextfönster över hela Unet eller inom rörelsemodulen specifikt. De möjliggör också tidsjusteringar för komplexa animeringssekvenser. Se här för en omfattande guide om AnimateDiff

Beta Schedule in Sample Settings: Välj LCM. Inom AnimateDiff's Sample Settings i ComfyUI, valet av "beta schedule", inklusive alternativ som "lcm," "lineart," etc., finjusterar beta-värdena som reglerar brusnivåerna genom diffusionsprocessen. Denna anpassning påverkar den visuella stilen och flytbarheten i animeringen. Varje inställning tillgodoser specifika behov för animerings- eller rörelsemodeller.

• LCM (Latent Consistency Module): "lcm" inställningen är skräddarsydd för LCM LoRAs, vilket förbättrar animeringsuniformiteten och minskar skapandetiden. Den uppnår snabbare konvergens med färre steg, vilket kräver stegreduktion (till ett minimum av ~4 steg) och andra parameterjusteringar för optimal detaljbevarande.
• Linear (AnimateDiff-SDXL): Rekommenderas för AnimateDiff med SDXL rörelsemoduler, detta alternativ balanserar detaljbevarande och smidiga rörelser, vilket indikerar kompatibilitet med specifika versioner av rörelsemodeller.
• Sqrt_lineart (AnimateDiff): Liknande "lineart," denna variant är utformad för AnimateDiff-processer, särskilt med V2 rörelsemoduler, genom att modifiera brusnivåerna för att komplettera rörelsemodellens utgång för smidigare övergångar eller rörelser.