Linear Mask Dilation | Fantastiska Animeringar

ComfyUI Linear Mask Dilation

Skapa fantastiska videoanimationer genom att förvandla ditt subjekt (dansare) och låt dem resa genom olika scener via en maskdilations-effekt. Detta arbetsflöde är utformat för att användas med videor med ett enda subjekt.

Hur man använder ComfyUI Linear Mask Dilation Workflow:

1. Ladda upp en subjektvideo i Input-sektionen
2. Välj önskad bredd och höjd på den slutliga videon, samt hur många ramar av ingångsvideon som ska hoppas över med "every_nth". Du kan också begränsa det totala antalet ramar som ska renderas med "frame_load_cap".
3. Fyll i den positiva och negativa prompten. Ställ in batchramtider för att matcha när du vill att scenövergångarna ska ske.
4. Ladda upp bilder för var och en av IP Adapter subjektmaskfärgerna:
   1. Vit = subjekt (dansare)
   2. Svart = Första bakgrunden
   3. Röd = Röd dilationsmaskbakgrund
   4. Grön = Grön dilationsmaskbakgrund
   5. Blå = Blå dilationsmaskbakgrund
5. Ladda en bra LCM-kontrollpunkt (jag använder ParadigmLCM av Machine Delusions) i "Models"-sektionen.
   1. Lägg till eventuella loras med Lora stacker under modell-laddaren
6. Tryck på Queue Prompt

Input

• Du kan justera bredden och höjden med de två inmatningarna uppe till vänster
• every_nth ställer in hur många ramar av ingången som ska hoppas över (2 = varannan ram)
• Numreringsfälten nere till vänster visar information om den uppladdade ingångsvideon: totalt antal ramar, bredd, höjd och FPS från topp till botten.
• Om du redan har en maskvideo av subjektet genererad (måste vara vit subjekt på svart bakgrund), kan du avaktivera "Override Subject Mask"-sektionen och ladda upp maskvideon. Du kan också välja att muta "Segment Subject"-sektionen för att spara lite bearbetningstid.
• Ibland kommer det segmenterade subjektet inte att vara perfekt, du kan kontrollera maskkvaliteten med förhandsgranskningsrutan nere till höger som ses ovan. Om det är fallet kan du experimentera med prompten i "Florence2Run"-noden för att rikta in dig på olika kroppsdelar som "huvud", "bröst", "ben", etc. och se om du får ett bättre resultat.

Prompt

• Ställ in den positiva prompten med batchformatering:
  • t.ex. "0": "4k, mästerverk, 1 tjej som står på stranden, absurdres", "25": "HDR, solnedgångsscen, 1 tjej med svart hår och en vit jacka, absurdres", ...
• Negativ prompt är normal format, du kan lägga till embeddingar om det behövs.

Mask Dilations

• Varje färgad grupp motsvarar färgen på dilationsmasken som kommer att genereras av den.
• Du kan ställa in maskens form, tillsammans med dilationshastighet och ramfördröjning med följande nod:
  • form: "cirkel" är mest exakt men tar längre tid att generera. Ställ in detta när du är redo att utföra den slutliga rendering. "firkant" är snabb att beräkna men mindre exakt, bäst för att testa arbetsflödet och bestämma IP adapter-bilder.
  • dilate_per_frame: Hur snabbt masken ska expandera, större siffror = snabbare dilationshastighet
  • fördröjning: Hur många ramar att vänta innan masken börjar expandera.
• Om du redan har en sammansatt maskvideo genererad kan du avaktivera "Override Composite Mask"-gruppen och ladda upp den. Det rekommenderas att kringgå dilationsmaskgrupperna om du åsidosätter för att spara på bearbetningstid.

Models

• Använd en bra LCM-modell för kontrollpunkten. Jag rekommenderar ParadigmLCM av Machine Delusions.
• Du kan eventuellt specificera AnimateLCM_sd15_t2v_lora.safetensors med en låg vikt på 0.18 för att ytterligare förbättra slutresultatet.
• Lägg till eventuella ytterligare Loras till modellen med den blå Lora stacker under modell-laddaren.

AnimateDiff

• Du kan ställa in en annan Motion Lora istället för den jag använde (LiquidAF-0-1.safetensors)
• Justera Multival Dynamic float-värdet högre eller lägre beroende på om du vill att resultatet ska ha mer eller mindre rörelse.

IP Adapters

• Här kan du specificera referenssubjekten som kommer att användas för att rendera bakgrunderna för var och en av dilationsmaskerna, samt ditt videosubjekt.
• Färgen på varje grupp representerar masken den riktar sig till:
  • Vit = subjekt (dansare)
  • Svart = Första bakgrunden
  • Röd = Röd dilationsmaskbakgrund
  • Grön = Grön dilationsmaskbakgrund
  • Blå = Blå dilationsmaskbakgrund
• Om du vill att den slutliga renderingen ska följa ingången IP adapter-bilder närmare, kan du ändra IPAdapter-presets från VIT-G till PLUS i IPA Unified Loader-gruppen.

ControlNet

• Detta arbetsflöde använder 5 olika controlnets, inklusive AD, Lineart, QR Code, Depth och OpenPose.
• Alla ingångar till controlnets genereras automatiskt
• Du kan välja att åsidosätta ingångsvideon för Depth och Openpose controlnets om så önskas genom att avaktivera "Override Depth" och "Override Openpose"-grupperna som ses nedan:

• Det rekommenderas att du mutar "Generate Depth" och "Generate Openpose"-grupperna om du åsidosätter för att spara bearbetningstid.

Sampler

• Som standard kommer HiRes Fix sampler-gruppen att vara mutad för att spara bearbetningstid vid testning
• Jag rekommenderar att kringgå Sampler-gruppen också när du försöker experimentera med dilationsmaskinställningar för att spara tid.
• Vid slutliga renderingar kan du avaktivera HiRes Fix-gruppen som kommer att uppskalera och lägga till detaljer till slutresultatet.

Output

• Det finns två utmatningsgrupper: den vänstra är för standard sampler-utmatning och den högra är för HiRes Fix sampler-utmatning.
• Du kan ändra var filer kommer att sparas genom att ändra "custom_directory"-strängen i "FileNamePrefixDateDirFirst"-noderna. Som standard kommer denna nod att spara utmatningsvideor i en tidsstämplad katalog i ComfyUI "output"-katalogen
  • t.ex. …/ComfyUI/output/240812/<custom_directory>/<my_video>.mp4

Om Författaren

Akatz AI:

• Webbplats:
• https://www.youtube.com/@akatz_ai
• https://www.instagram.com/akatz.ai/
• https://www.tiktok.com/@akatz_ai
• https://x.com/akatz_ai
• https://github.com/akatz-ai

Kontakter:

• E-post: akatzfey@sendysoftware.com