Konsekvent Stiloverførsel med Unsampling

Denne Unsampling guide, skrevet af Inner-Reflections, bidrager i høj grad til at udforske Unsampling-metoden for at opnå dramatisk konsekvent video stiloverførsel.

1. Introduktion: Kontrol af Latent Støj med Unsampling

Latent Støj er grundlaget for alt, hvad vi gør med Stable Diffusion. Det er fantastisk at tage et skridt tilbage og tænke på, hvad vi er i stand til at opnå med dette. Generelt set er vi dog tvunget til at bruge et tilfældigt tal til at generere støjen. Hvad hvis vi kunne kontrollere det?

Jeg er ikke den første til at bruge Unsampling. Det har eksisteret i meget lang tid og er blevet brugt på flere forskellige måder. Indtil nu har jeg dog generelt ikke været tilfreds med resultaterne. Jeg har brugt flere måneder på at finde de bedste indstillinger, og jeg håber, du nyder denne guide.

Ved at bruge sampling-processen med AnimateDiff/Hotshot kan vi finde støj, der repræsenterer vores oprindelige video og dermed gør enhver form for stiloverførsel lettere. Det er især nyttigt at holde Hotshot konsekvent givet dets 8-billeders kontekstvindue.

Denne unsampling-proces konverterer essentielt vores inputvideo til latent støj, der bevarer bevægelsen og sammensætningen af det oprindelige. Vi kan derefter bruge denne repræsentative støj som udgangspunkt for diffusionsprocessen i stedet for tilfældig støj. Dette gør det muligt for AI at anvende den ønskede stil, mens tingene holdes tidsmæssigt konsekvente.

Denne guide forudsætter, at du har installeret AnimateDiff og/eller Hotshot. Hvis du ikke allerede har gjort det, er guiderne tilgængelige her:

AnimateDiff: https://civitai.com/articles/2379

Hotshot XL guide: https://civitai.com/articles/2601/

Link til ressource - Hvis du vil poste videoer på Civitai ved hjælp af denne arbejdsgang. https://civitai.com/models/544534

2. Systemkrav til denne Arbejdsgang

En Windows-computer med et NVIDIA-grafikkort, der har mindst 12GB VRAM, anbefales. På RunComfy-platformen skal du bruge en Medium (16GB VRAM) eller højere maskine. Denne proces kræver ikke mere VRAM end standard AnimateDiff eller Hotshot arbejdsgange, men det tager næsten dobbelt så lang tid, da det essentielt kører diffusionsprocessen to gange—en gang for opsampling og en gang for resampling med den ønskede stil.

3. Nodeforklaringer og Indstillingsguide

Node: Custom Sampler

Hoveddelen af dette er at bruge Custom Sampler, som opdeler alle de indstillinger, du normalt ser i den almindelige KSampler, i stykker:

Dette er hoved KSampler-noden - for unsampling tilføjer støj/seed ingen effekt (som jeg er bekendt med). CFG betyder noget - generelt set jo højere CFG er på dette trin, jo tættere vil videoen ligne din oprindelige. Højere CFG tvinger unsampleren til mere nøjagtigt at matche inputtet.

Node: KSampler Select

Det vigtigste er at bruge en sampler, der konvergerer! Dette er grunden til, at vi bruger euler over euler a, da sidstnævnte resulterer i mere tilfældighed/ustabilitet. Ancestrale samplere, der tilføjer støj ved hvert trin, forhindrer unsampling i at konvergere rent. Hvis du vil læse mere om dette, har jeg altid fundet  nyttig. @spacepxl på reddit foreslår, at DPM++ 2M Karras måske er den mere nøjagtige sampler afhængigt af brugssagen.

Node: Align Your Step Scheduler

Enhver scheduler vil fungere fint her - Align Your Steps (AYS) får dog gode resultater med 16 trin, så jeg har valgt at bruge det for at reducere beregningstiden. Flere trin vil konvergere mere fuldt ud, men med faldende udbytte.

Node: Flip Sigma

Flip Sigma er den magiske node, der får unsampling til at ske! Ved at vende sigma-skemaet omvender vi diffusionsprocessen for at gå fra et rent inputbillede til repræsentativ støj.

Node: Prompt

Prompting betyder en hel del i denne metode af en eller anden grund. En god prompt kan virkelig forbedre sammenhængen til videoen, især jo mere du vil skubbe transformationen. Til dette eksempel har jeg fodret den samme konditionering til både unsampleren og resampleren. Det ser ud til at fungere godt generelt - intet forhindrer dig dog i at sætte tom konditionering i unsampleren - jeg finder, at det hjælper med at forbedre stiloverførslen, måske med et lidt tab af konsistens.

Node: Resampling

For resampling er det vigtigt at have tilføjet støj slået fra (selvom det at have tom støj i AnimateDiff sample-indstillingerne har samme effekt - jeg har gjort begge dele for min arbejdsgang). Hvis du tilføjer støj under resampling, vil du få et inkonsekvent, støjende resultat, i det mindste med standardindstillinger. Ellers foreslår jeg at starte med en ret lav CFG kombineret med svage ControlNet-indstillinger, da det ser ud til at give de mest konsekvente resultater, mens prompten stadig kan påvirke stilen.

Andre Indstillinger

Resten af mine indstillinger er personlig præference. Jeg har forenklet denne arbejdsgang så meget som muligt, mens jeg stadig inkluderer de vigtigste komponenter og indstillinger.

4. Arbejdsgang Information

Standardarbejdsgangen bruger SD1.5-modellen. Du kan dog skifte til SDXL ved blot at ændre checkpoint, VAE, AnimateDiff-modellen, ControlNet-modellen og trinplanmodellen til SDXL.

5. Vigtige Noter/Problemer

• Flashing - Hvis du ser på de dekodede og forhåndsviste latenter, der er skabt ved unsampling i mine arbejdsgange, vil du bemærke nogle med åbenlyse farveafvigelser. Den nøjagtige årsag er uklar for mig, og generelt påvirker de ikke de endelige resultater. Disse afvigelser er især tydelige med SDXL. De kan dog nogle gange forårsage flashing i din video. Hovedårsagen ser ud til at være relateret til ControlNets - så at reducere deres styrke kan hjælpe. Ændring af prompten eller endda let ændring af scheduler kan også gøre en forskel. Jeg støder stadig på dette problem fra tid til anden - hvis du har en løsning, så lad mig vide det!
  • DPM++ 2M kan nogle gange forbedre flashing.

6. Hvor Går Vi Herfra?

Dette føles som en helt ny måde at kontrollere videokonsistens på, så der er meget at udforske. Hvis du vil have mine forslag:

• Prøv at kombinere/maskere støj fra flere kildevideoer.
• Tilføj IPAdapter for konsekvent karaktertransformation.

Om Forfatteren

Inner-Reflections

• https://x.com/InnerRefle11312
• https://civitai.com/user/Inner_Reflections_AI