Leirestil med Unsampling

Denne arbeidsflyten, opprettet av , utforsker Unsampling som en metode for konsekvent stiloverføring i ComfyUI. For en detaljert veiledning om hvordan du bruker Unsampling, se: .

Ved å bruke denne arbeidsflyten kan du forvandle videoen din til en leirestilanimasjon. Prosessen er enkel og krever minimal innsats for å oppnå et sømløst og slående leireanimasjonsutseende, som minner om tradisjonelle stop-motion leireanimasjoner.

Unsampling-prosessen i ComfyUI konverterer inngangsvideoen til latent støy som bevarer den opprinnelige bevegelsen og strukturen. I motsetning til tilfeldig støy fungerer denne representasjonsstøyen som grunnlaget for diffusjonsprosessen, slik at AI kan anvende leirestilen mens den opprettholder tidsmessig konsistens over videorammene.

Nøkkelkomponenter i Clay Style Unsampling Workflow:

Innganger: Her laster du opp inngangsvideoen din. frame_load_cap-innstillingen begrenser antall rammer som lastes fra inngangen. select_every_nth-innstillingen hopper over rammer for å redusere den totale arbeidsmengden. Å øke select_every_nth-verdien akselererer prosessen, men kan påvirke jevnheten i den endelige leirestilanimasjonen.

Unsample: Unsample-komponenten bruker euler-sampling for å finne støy som nøyaktig representerer inngangsvideoen. Ved å justere cfg-skalaene kan du finjustere Unsampling-prosessen for å matche inngangen mer nøyaktig. Flip Sigma-noden reverserer diffusjonsprosessen og konverterer inngangsrammene til latent støy.

Prompt: En godt konstruert prompt kan betydelig forbedre det endelige resultatet, spesielt når man sikter mot en særegen leirestil. For denne stilen kan en god positiv prompt være "(claymation:1.15), stop motion, (alt laget av leire:1.1), vakker kvinne som danser." Denne prompten veileder modellen til å gjenskape animasjonen på en måte som etterligner ekte leirebevegelser og teksturer.

ControlNet: ControlNet-komponenten bruker Depth ControlNet, forhåndsbehandlet av DepthAnythingV2, for å opprettholde dybden og geometrien til den opprinnelige videoen. Dette sikrer at resampling-prosessen følger strukturen til inngangsvideoen. strength-innstillingen kontrollerer hvor mye innflytelse ControlNet har på utdataene, med høyere verdier som fører til mer presis strukturbevaring.

Resample: Resample-komponenten tar den unsamplede latente støyen og kjører diffusjonsprosessen igjen, og anvender leirestilen for å generere en jevn og konsekvent leireanimasjonseffekt.

Utdata: De endelige utdataene dekodes, lagres som individuelle bilder, og kombineres deretter til en oppskalert MP4-video, som bevarer den opprinnelige bildefrekvensen mens den viser den nye leirestilen.

Leirestilen er bare en av mange spennende muligheter du kan oppnå med denne Unsampling-arbeidsflyten i ComfyUI. Eksperimenter med forskjellige prompts og innstillinger for å skape din unike stil, og nyt prosessen med å transformere videoene dine til dynamiske og visuelt fantastiske animasjoner!