AnimateDiff + ControlNet | Keramik Konststil

1. ComfyUI Arbetsflöde: AnimateDiff + ControlNet | Keramik Konststil

Detta arbetsflöde använder AnimateDiff, ControlNet med fokus på djup, och specifik Lora för att skickligt omvandla videor till en keramik konststil. Du uppmuntras att använda olika uppmaningar för att uppnå olika konststilar, och förvandla dina idéer till verklighet.

2. Hur man använder AnimateDiff

AnimateDiff är designad för att animera statiska bilder och textuppmaningar till dynamiska videor, genom att använda Stable Diffusion modeller och en specialiserad rörelsemodul. Det automatiserar animationsprocessen genom att förutsäga sömlösa övergångar mellan bilder, vilket gör det tillgängligt för användare utan kodningskunskaper.

2.1 AnimateDiff Rörelsemoduler

För att börja, välj den önskade AnimateDiff rörelsemodulen från model_name dropdown:

• Använd v3_sd15_mm.ckpt för AnimateDiff V3
• Använd mm_sd_v15_v2.ckpt för AnimateDiff V2
• Använd mm_sdxl_v10_beta.ckpt för AnimateDiff SDXL

2.2 Beta Schema

Beta Schema i AnimateDiff är avgörande för att justera brusreduceringsprocessen under skapandet av animationer.

För versionerna V3 och V2 av AnimateDiff rekommenderas sqrt_linear inställningen, även om experimentering med linear inställningen kan ge unika effekter.

För AnimateDiff SDXL rekommenderas linear inställningen (AnimateDiff-SDXL).

2.3 Rörelseskala

Rörelseskala funktionen i AnimateDiff möjliggör justering av rörelseintensiteten i dina animationer. En rörelseskala under 1 resulterar i mer subtil rörelse, medan en skala över 1 förstärker rörelsen.

2.4 Kontextlängd

Den enhetliga kontextlängden i AnimateDiff är avgörande för att säkerställa sömlösa övergångar mellan scener definierade av din batchstorlek. Det fungerar som en expertredigerare, som sömlöst kopplar ihop scener för flytande berättande. Att ställa in en längre enhetlig kontextlängd säkerställer mjukare övergångar, medan en kortare längd erbjuder snabbare, mer distinkta scenbyten, vilket är fördelaktigt för vissa effekter. Den standardiserade enhetliga kontextlängden är satt till 16.

2.5 Använda Motion LoRA för Förbättrad Kameradynamik (Specifikt för AnimateDiff v2)

Motion LoRAs, kompatibla endast med AnimateDiff v2, introducerar ett extra lager av dynamisk kamerarörelse. Att uppnå den optimala balansen med LoRA vikten, vanligtvis runt 0.75, säkerställer smidig kamerarörelse utan bakgrundsdistorsioner.

Dessutom tillåter kedjning av olika Motion LoRA modeller komplex kameradynamik. Detta möjliggör för skapare att experimentera och upptäcka den ideala kombinationen för deras animation, vilket höjer den till en filmisk nivå.

3. Hur man använder ControlNet

ControlNet förbättrar bildgenerering genom att introducera exakt rumslig kontroll till text-till-bild modeller, vilket gör det möjligt för användare att manipulera bilder på sofistikerade sätt bortom bara textuppmaningar, genom att använda omfattande bibliotek från modeller som Stable Diffusion för intrikata uppgifter som skissning, kartläggning och segmentering av visuella element.

Följande är det enklaste arbetsflödet med ControlNet.

3.1 Ladda "Apply ControlNet" Nod

Börja din bildskapande process genom att ladda "Apply ControlNet" Nod i ComfyUI, och sätt scenen för att kombinera visuella och textuella element i din design.

3.2 Ingångar för "Apply ControlNet" Nod

Använd positiv och negativ konditionering för att forma din bild, välj en ControlNet modell för att definiera stiltrender, och förbehandla din bild för att säkerställa att den matchar ControlNet modellkrav, vilket gör den redo för omvandling.

3.3 Utgångar för "Apply ControlNet" Nod

Nodens utgångar styr diffusionsmodellen, och erbjuder ett val mellan att finjustera bilden ytterligare eller lägga till fler ControlNets för ökad detalj och anpassning baserat på interaktionen mellan ControlNet och dina kreativa insatser.

3.4 Justera "Apply ControlNet" för bästa resultat

Kontrollera ControlNets påverkan på din bild genom inställningar som bestämma styrka, justera startprocent och sätta slutprocent för att finjustera bildens kreativa process och resultat.

För mer detaljerad information, vänligen kolla in How to use ControlNet in ComfyUI

Detta arbetsflöde är inspirerat av MDMZ med vissa modifieringar. För mer information, vänligen besök hans YouTube-kanal.