AnimateDiff + ControlNet | Keramikkunststil

1. ComfyUI Arbeidsflyt: AnimateDiff + ControlNet | Keramikkunststil

Denne arbeidsflyten bruker AnimateDiff, ControlNet med fokus på dybde, og spesifikk Lora for å dyktig transformere videoer til en Keramikkunststil. Du oppfordres til å bruke forskjellige prompt for å oppnå ulike kunststiler, og gjøre ideene dine til virkelighet.

2. Hvordan bruke AnimateDiff

AnimateDiff er designet for å animere statiske bilder og tekstprompt til dynamiske videoer, ved å bruke Stable Diffusion-modeller og en spesialisert bevegelsesmodul. Den automatiserer animasjonsprosessen ved å forutsi sømløse overganger mellom rammer, og gjør det tilgjengelig for brukere uten koding ferdigheter.

2.1 AnimateDiff Bevegelsesmoduler

For å begynne, velg ønsket AnimateDiff bevegelsesmodul fra model_name nedtrekksmenyen:

• Bruk v3_sd15_mm.ckpt for AnimateDiff V3
• Bruk mm_sd_v15_v2.ckpt for AnimateDiff V2
• Bruk mm_sdxl_v10_beta.ckpt for AnimateDiff SDXL

2.2 Beta Plan

Beta Plan i AnimateDiff er avgjørende for å justere støyreduksjonsprosessen gjennom animasjonsopprettelsen.

For versjonene V3 og V2 av AnimateDiff, anbefales sqrt_linear-innstillingen, selv om eksperimentering med linear-innstillingen kan gi unike effekter.

For AnimateDiff SDXL, anbefales linear-innstillingen (AnimateDiff-SDXL).

2.3 Bevegelsesskala

Bevegelsesskala-funksjonen i AnimateDiff lar deg justere bevegelsesintensiteten i animasjonene dine. En bevegelsesskala under 1 resulterer i mer subtil bevegelse, mens en skala over 1 forsterker bevegelsen.

2.4 Kontekstlengde

Den Uniforme Kontekstlengden i AnimateDiff er essensiell for å sikre sømløse overganger mellom scener definert av din Batch Size. Den fungerer som en ekspertredaktør, og kobler scener sømløst for flytende fortelling. Å sette en lengre Uniform Kontekstlengde sikrer jevnere overganger, mens en kortere lengde gir raskere, mer distinkte sceneendringer, gunstig for visse effekter. Standard Uniform Kontekstlengde er satt til 16.

2.5 Bruk av Motion LoRA for Forbedret Kameradynamikk (Spesifikt for AnimateDiff v2)

Motion LoRAs, som kun er kompatible med AnimateDiff v2, introduserer et ekstra lag med dynamisk kamerabevegelse. Å oppnå den optimale balansen med LoRA-vekt, vanligvis rundt 0.75, sikrer jevn kamerabevegelse uten bakgrunnsforvrengninger.

Videre gjør kjeding av forskjellige Motion LoRA-modeller det mulig med komplekse kameradynamikker. Dette lar skapere eksperimentere og finne den ideelle kombinasjonen for deres animasjon, og løfte den til et filmatisk nivå.

3. Hvordan bruke ControlNet

ControlNet forbedrer bildegenerering ved å introdusere presis romlig kontroll til tekst-til-bilde-modeller, som lar brukere manipulere bilder på sofistikerte måter utover bare tekstprompt, ved å bruke store biblioteker fra modeller som Stable Diffusion for intrikate oppgaver som skissering, kartlegging og segmentering av visuelle elementer.

Følgende er den enkleste arbeidsflyten ved bruk av ControlNet.

3.1 Lasting av "Apply ControlNet" Node

Start bildeopprettelsen din ved å laste "Apply ControlNet" Node i ComfyUI, og sett scenen for å kombinere visuelle og tekstuelle elementer i designet ditt.

3.2 Inndata til "Apply ControlNet" Node

Bruk Positive og Negative Conditioning for å forme bildet ditt, velg en ControlNet-modell for å definere stiltrekk, og forhåndsbehandle bildet ditt for å sikre at det samsvarer med ControlNet-modellens krav, og dermed gjøre det klart for transformasjon.

3.3 Utdata fra "Apply ControlNet" Node

Node-utdataene guider diffusjonsmodellen, og tilbyr et valg mellom å raffinere bildet videre eller legge til flere ControlNets for forbedret detaljering og tilpasning basert på samspillet mellom ControlNet og dine kreative inndata.

3.4 Justering av "Apply ControlNet" for beste resultater

Kontroller innflytelsen av ControlNet på bildet ditt gjennom innstillinger som Bestemmelse av styrke, Justering av Startprosent, og Innstilling av Sluttprosent for å finjustere bildefremstillingsprosessen og resultatet.

For mer detaljert informasjon, vennligst sjekk ut How to use ControlNet in ComfyUI

Denne arbeidsflyten er inspirert av MDMZ med noen modifikasjoner. For mer informasjon, vennligst besøk hans YouTube-kanal.