Detta arbetsflöde använder AnimateDiff, ControlNet med fokus på djup, och specifik Lora för att skickligt omvandla videor till en keramik konststil. Du uppmuntras att använda olika uppmaningar för att uppnå olika konststilar, och förvandla dina idéer till verklighet.
AnimateDiff är designad för att animera statiska bilder och textuppmaningar till dynamiska videor, genom att använda Stable Diffusion modeller och en specialiserad rörelsemodul. Det automatiserar animationsprocessen genom att förutsäga sömlösa övergångar mellan bilder, vilket gör det tillgängligt för användare utan kodningskunskaper.
För att börja, välj den önskade AnimateDiff rörelsemodulen från model_name dropdown:
Beta Schema i AnimateDiff är avgörande för att justera brusreduceringsprocessen under skapandet av animationer.
För versionerna V3 och V2 av AnimateDiff rekommenderas sqrt_linear inställningen, även om experimentering med linear inställningen kan ge unika effekter.
För AnimateDiff SDXL rekommenderas linear inställningen (AnimateDiff-SDXL).
Rörelseskala funktionen i AnimateDiff möjliggör justering av rörelseintensiteten i dina animationer. En rörelseskala under 1 resulterar i mer subtil rörelse, medan en skala över 1 förstärker rörelsen.
Den enhetliga kontextlängden i AnimateDiff är avgörande för att säkerställa sömlösa övergångar mellan scener definierade av din batchstorlek. Det fungerar som en expertredigerare, som sömlöst kopplar ihop scener för flytande berättande. Att ställa in en längre enhetlig kontextlängd säkerställer mjukare övergångar, medan en kortare längd erbjuder snabbare, mer distinkta scenbyten, vilket är fördelaktigt för vissa effekter. Den standardiserade enhetliga kontextlängden är satt till 16.
Motion LoRAs, kompatibla endast med AnimateDiff v2, introducerar ett extra lager av dynamisk kamerarörelse. Att uppnå den optimala balansen med LoRA vikten, vanligtvis runt 0.75, säkerställer smidig kamerarörelse utan bakgrundsdistorsioner.
Dessutom tillåter kedjning av olika Motion LoRA modeller komplex kameradynamik. Detta möjliggör för skapare att experimentera och upptäcka den ideala kombinationen för deras animation, vilket höjer den till en filmisk nivå.
ControlNet förbättrar bildgenerering genom att introducera exakt rumslig kontroll till text-till-bild modeller, vilket gör det möjligt för användare att manipulera bilder på sofistikerade sätt bortom bara textuppmaningar, genom att använda omfattande bibliotek från modeller som Stable Diffusion för intrikata uppgifter som skissning, kartläggning och segmentering av visuella element.
Följande är det enklaste arbetsflödet med ControlNet.
Börja din bildskapande process genom att ladda "Apply ControlNet" Nod i ComfyUI, och sätt scenen för att kombinera visuella och textuella element i din design.
Använd positiv och negativ konditionering för att forma din bild, välj en ControlNet modell för att definiera stiltrender, och förbehandla din bild för att säkerställa att den matchar ControlNet modellkrav, vilket gör den redo för omvandling.
Nodens utgångar styr diffusionsmodellen, och erbjuder ett val mellan att finjustera bilden ytterligare eller lägga till fler ControlNets för ökad detalj och anpassning baserat på interaktionen mellan ControlNet och dina kreativa insatser.
Kontrollera ControlNets påverkan på din bild genom inställningar som bestämma styrka, justera startprocent och sätta slutprocent för att finjustera bildens kreativa process och resultat.
För mer detaljerad information, vänligen kolla in
Detta arbetsflöde är inspirerat av med vissa modifieringar. För mer information, vänligen besök hans YouTube-kanal.
© Copyright 2024 RunComfy. Alla Rättigheter Förbehållna.