AnimateDiff + ControlNet | Keramik Kunststil

1. ComfyUI Arbejdsgang: AnimateDiff + ControlNet | Keramik Kunststil

Denne arbejdsgang anvender AnimateDiff, ControlNet med fokus på dybde, og specifik Lora til dygtigt at omdanne videoer til en keramik kunststil. Du opfordres til at bruge forskellige prompts for at opnå forskellige kunststile og gøre dine ideer til virkelighed.

2. Sådan bruges AnimateDiff

AnimateDiff er designet til at animere statiske billeder og tekstprompter til dynamiske videoer ved hjælp af Stable Diffusion modeller og et specialiseret bevægelsesmodul. Det automatiserer animationsprocessen ved at forudsige sømløse overgange mellem frames, hvilket gør det tilgængeligt for brugere uden kodningsfærdigheder.

2.1 AnimateDiff Bevægelsesmoduler

For at begynde, vælg det ønskede AnimateDiff bevægelsesmodul fra model_name dropdown:

• Brug v3_sd15_mm.ckpt til AnimateDiff V3
• Brug mm_sd_v15_v2.ckpt til AnimateDiff V2
• Brug mm_sdxl_v10_beta.ckpt til AnimateDiff SDXL

2.2 Beta Schedule

Beta Schedule i AnimateDiff er afgørende for at justere støjreduktionen gennem animationsskabelsen.

For versioner V3 og V2 af AnimateDiff anbefales sqrt_linear indstillingen, selvom eksperimenter med linear indstillingen kan give unikke effekter.

For AnimateDiff SDXL anbefales linear indstillingen (AnimateDiff-SDXL).

2.3 Bevægelsesskala

Bevægelsesskala-funktionen i AnimateDiff tillader justering af bevægelsesintensiteten i dine animationer. En bevægelsesskala under 1 resulterer i mere subtil bevægelse, mens en skala over 1 forstærker bevægelsen.

2.4 Kontekstlængde

Den ensartede kontekstlængde i AnimateDiff er essentiel for at sikre sømløse overgange mellem scener defineret af din Batch Size. Den fungerer som en ekspertredaktør, der forbinder scener for flydende fortælling. Indstilling af en længere ensartet kontekstlængde sikrer glattere overgange, mens en kortere længde tilbyder hurtigere, mere distinkte sceneskift, hvilket er gavnligt for visse effekter. Standard kontekstlængden er sat til 16.

2.5 Brug af Motion LoRA til forbedrede kameradynamikker (specifik for AnimateDiff v2)

Motion LoRAs, der kun er kompatible med AnimateDiff v2, introducerer et ekstra lag af dynamisk kamerabevægelse. At opnå den optimale balance med LoRA-vægten, typisk omkring 0.75, sikrer glat kamerabevægelse uden baggrundsforvrængninger.

Desuden tillader kædning af forskellige Motion LoRA-modeller komplekse kameradynamikker. Dette giver skabere mulighed for at eksperimentere og finde den ideelle kombination for deres animation, hvilket løfter det til et filmisk niveau.

3. Sådan bruges ControlNet

ControlNet forbedrer billedgenerering ved at introducere præcis rumlig kontrol til tekst-til-billede modeller, hvilket giver brugerne mulighed for at manipulere billeder på sofistikerede måder ud over blot tekstprompter, ved at bruge omfattende biblioteker fra modeller som Stable Diffusion til komplekse opgaver som skitsering, kortlægning og segmentering af visuelle elementer.

Følgende er den simpleste arbejdsgang ved brug af ControlNet.

3.1 Indlæsning af "Apply ControlNet"-noden

Start din billedskabelse ved at indlæse "Apply ControlNet"-noden i ComfyUI, hvilket sætter scenen for at kombinere visuelle og tekstuelle elementer i dit design.

3.2 Input af "Apply ControlNet"-noden

Brug Positive og Negative Conditioning til at forme dit billede, vælg en ControlNet-model for at definere stiltræk, og forbehandl dit billede for at sikre, at det matcher ControlNet-modellens krav, således at det er klar til transformation.

3.3 Output af "Apply ControlNet"-noden

Nodens output guider diffusionsmodellen, hvilket giver et valg mellem yderligere at finpudse billedet eller tilføje flere ControlNets for forbedret detalje og tilpasning baseret på interaktionen mellem ControlNet og dine kreative input.

3.4 Justering af "Apply ControlNet" for bedste resultater

Kontroller indflydelsen af ControlNet på dit billede gennem indstillinger som Bestemmelse af styrke, Justering af startprocent og Indstilling af slutprocent for nøje at tune billedets kreative proces og resultat.

For mere detaljeret information, se venligst How to use ControlNet in ComfyUI

Denne arbejdsgang er inspireret af MDMZ med nogle modifikationer. For mere information, besøg venligst hans YouTube-kanal.