AnimateLCM | Fremskynd tekst til video

1. ComfyUI AnimateLCM Workflow

ComfyUI AnimateLCM Workflow er designet til at forbedre AI animationshastigheder. Bygger på grundlaget af ComfyUI-AnimateDiff-Evolved, denne workflow inkorporerer AnimateLCM for specifikt at accelerere skabelsen af tekst-til-video (t2v) animationer. Du kan eksperimentere med forskellige prompts og trin for at opnå ønskede resultater.

2. Oversigt over AnimateLCM

Fremkomsten af teknologier som SDXL, LCM og SDXL Turbo har betydeligt øget hastigheden på billedgenerering. AnimateLCM driver yderligere fremskridt inden for AI animation. Det understøtter hurtig billed-til-video generering og sigter mod at øge hastigheden og effektiviteten af produktion af animerede videoer fra statiske billeder eller tekstbeskrivelser, hvilket gør det særligt nyttigt til hurtigt at skabe personlige animationseffekter

2.1. Introduktion til AnimateLCM

AnimateLCM er designet til at accelerere animationen af personlige diffusionsmodeller og adaptere gennem decoupled consistency learning. Det er inspireret af Consistency Model (CM), som destillerer prætrænede billeddiffusionsmodeller for at accelerere samplingsprocessen, og dens udvidelse, Latent Consistency Model (LCM), som fokuserer på betinget billedgenerering. AnimateLCM udnytter disse fundamenter til at muliggøre skabelsen af videoer med høj kvalitet i få trin, bygger videre på succeserne med billeddiffusion og genereringsteknikker for at udvide deres kapaciteter til videodomainet.

2.2. Hvordan man bruger AnimateLCM i din ComfyUI Workflow

Denne workflow bygger videre på ComfyUI-AnimateDiff-Evolved Workflow. Følgende er konfigurationsparametrene i "Use Evolved Sampling" node.

Models: Sæt checkpoint model og LoRA model.

• Checkpoint: Dette vedrører de StableDiffusion (SD) model inputs, der bruges til animationsskabelse. Afhængigt af de valgte bevægelsesmodeller kan kompatibiliteten variere på tværs af SD versioner, såsom SD1.5 eller SDXL.
• LoRA: Inkorporering af AnimateLCM LoRA model for sømløst at integrere eksisterende adaptere til en række funktioner, hvilket forbedrer effektiviteten og outputkvaliteten med fokus på consistency learning uden at ofre samplingshastigheden.

Motion Models (M Models): Dette er outputs fra Apply AnimateDiff Model processen, som muliggør brugen af AnimateLCM Motion Model.

Context Options: Disse indstillinger justerer AnimateDiff's operation under animationsproduktionen, hvilket muliggør animationer af enhver længde via glidende kontekstvinduer på tværs af hele Unet eller specifikt inden for bevægelsesmodulet. De muliggør også timingjusteringer for komplekse animationssekvenser. Se her for en omfattende guide om AnimateDiff

Beta Schedule in Sample Settings: Vælg LCM. Inden for AnimateDiff’s Sample Settings i ComfyUI, valg af "beta schedule", inklusive muligheder som "lcm," "lineart," etc., finjusterer beta-værdierne, der regulerer støjniveauer gennem diffusionsprocessen. Denne tilpasning påvirker den visuelle stil og flydende af animationen. Hver indstilling henvender sig til specifikke animations- eller bevægelsesmodelbehov.

• LCM (Latent Consistency Module): "lcm" indstillingen er skræddersyet til LCM LoRAs, hvilket forbedrer animationsens ensartethed og reducerer oprettelsestiden. Det opnår hurtigere konvergens med færre trin, hvilket kræver trinnedsættelse (til et minimum af ~4 trin) og andre parameterjusteringer for optimal detaljebevarelse.
• Linear (AnimateDiff-SDXL): Anbefalet til AnimateDiff med SDXL bevægelsesmoduler, denne mulighed balancerer mellem detaljebevarelse og glat bevægelse, hvilket indikerer kompatibilitet med specifikke bevægelsesmodelversioner.
• Sqrt_lineart (AnimateDiff): Ligner "lineart," denne variant er designet til AnimateDiff processer, især med V2 bevægelsesmoduler, modificerer støjniveauer for at komplementere bevægelsesmodellens output for mere flydende overgange eller bevægelser.