AnimateLCM | Fremskynd Tekst til Video

1. ComfyUI AnimateLCM Arbeidsflyt

ComfyUI AnimateLCM Arbeidsflyt er designet for å forbedre hastigheten på AI-animasjoner. Bygget på fundamentene til ComfyUI-AnimateDiff-Evolved, inkorporerer denne arbeidsflyten AnimateLCM for spesifikt å fremskynde skapelsen av tekst-til-video (t2v) animasjoner. Du kan eksperimentere med ulike prompt og trinn for å oppnå ønskede resultater.

2. Oversikt over AnimateLCM

Fremveksten av teknologier som SDXL, LCM og SDXL Turbo har betydelig økt hastigheten på bildegenerering. AnimateLCM driver fremgangen i AI-animasjon ytterligere. Den støtter rask bilde-til-video-generering og er rettet mot å forbedre hastigheten og effektiviteten ved å produsere animerte videoer fra statiske bilder eller tekstbeskrivelser, noe som gjør den spesielt nyttig for å lage personlige animasjonseffekter raskt.

2.1. Introduksjon til AnimateLCM

AnimateLCM er designet for å akselerere animasjonen av personlige diffusjonsmodeller og adaptere gjennom avkoblet konsistenslæring. Den er inspirert av Consistency Model (CM), som destillerer forhåndstrente bildediffusjonsmodeller for å akselerere samplingsprosessen, og dens utvidelse, Latent Consistency Model (LCM), som fokuserer på betinget bildegenerering. AnimateLCM utnytter disse grunnlagene for å muliggjøre skapelsen av videoer med høy kvalitet i noen få trinn, bygget på suksessen til bildediffusjon og genereringsteknikker for å utvide deres evner til videodomenet.

2.2. Hvordan bruke AnimateLCM i din ComfyUI Arbeidsflyt

Denne arbeidsflyten bygger på ComfyUI-AnimateDiff-Evolved Arbeidsflyt. Følgende er konfigurasjonsparametrene i "Use Evolved Sampling" noden.

Modeller: Sett sjekkpunktmodell og LoRA-modell.

• Sjekkpunkt: Dette gjelder StableDiffusion (SD) modellinnganger som brukes til animasjonsskapelse. Avhengig av de valgte bevegelsesmodellene kan kompatibiliteten variere mellom SD-versjoner, som SD1.5 eller SDXL.
• LoRA: Inkorporering av AnimateLCM LoRA-modell for sømløst å integrere eksisterende adaptere for en rekke funksjoner, forbedre effektiviteten og utgangskvaliteten med fokus på konsistenslæring uten å ofre samplingshastigheten.

Bevegelsesmodeller (M Modeller): Disse er utgangene fra Apply AnimateDiff Model-prosessen, som muliggjør bruken av AnimateLCM Motion Model.

Kontekstvalg: Disse innstillingene justerer AnimateDiff's drift under animasjonsproduksjon, slik at animasjoner av enhver lengde kan lages via glidende kontekstvinduer over hele Unet eller spesifikt innenfor bevegelsesmodulen. De gir også mulighet for tidsjusteringer for komplekse animasjonssekvenser. Se her for en omfattende guide til AnimateDiff

Beta Schedule i Sample Settings: Velg LCM. Innenfor AnimateDiff’s Sample Settings i ComfyUI, justerer "beta schedule" valget, inkludert alternativer som "lcm," "lineart," etc., beta-verdiene som regulerer støynivåer gjennom diffusjonsprosessen. Denne tilpasningen påvirker den visuelle stilen og flyten til animasjonen. Hver innstilling dekker spesifikke animasjons- eller bevegelsesmodellbehov.

• LCM (Latent Consistency Module): Innstillingen "lcm" er skreddersydd for LCM LoRAs, som forbedrer animasjonsens enhetlighet og reduserer skapelsestiden. Den oppnår raskere konvergens med færre trinn, som krever trinnreduksjon (til et minimum på ~4 trinn) og andre parameterjusteringer for optimal detaljbevaring.
• Linear (AnimateDiff-SDXL): Anbefalt for AnimateDiff med SDXL bevegelsesmoduler, dette alternativet balanserer detaljbevaring og jevn bevegelse, og indikerer kompatibilitet med spesifikke bevegelsesmodellversjoner.
• Sqrt_lineart (AnimateDiff): Ligner på "lineart," denne varianten er designet for AnimateDiff-prosesser, spesielt med V2 bevegelsesmoduler, som endrer støynivåene for å komplementere bevegelsesmodellens utgang for mer flytende overganger eller bevegelser.