Lineær Maske Dilation | Fantastiske Animationer

ComfyUI Lineær Maske Dilation

Lav fantastiske videoanimationer ved at transformere dit emne (danser) og få dem til at rejse gennem forskellige scener via en maske dilationseffekt. Denne arbejdsgang er designet til at blive brugt med videoer med et enkelt emne.

Sådan bruger du ComfyUI Lineær Maske Dilation Arbejdsgang:

1. Upload en emnevideo i Input sektionen
2. Vælg den ønskede bredde og højde på den endelige video, sammen med hvor mange frames af inputvideoen der skal springes over med “every_nth”. Du kan også begrænse det samlede antal frames, der skal renderes, med “frame_load_cap”.
3. Udfyld de positive og negative prompts. Indstil batch frame tider til at matche, hvornår du ønsker, at sceneskiftene skal finde sted.
4. Upload billeder for hver af IP Adapter emne maskefarverne:
   1. Hvid = emne (danser)
   2. Sort = Første baggrund
   3. Rød = Rød dilation maske baggrund
   4. Grøn = Grøn dilation maske baggrund
   5. Blå = Blå dilation maske baggrund
5. Indlæs et godt LCM checkpoint (jeg bruger ParadigmLCM af Machine Delusions) i “Models” sektionen.
   1. Tilføj eventuelle loras ved hjælp af Lora stacker under model loaderen
6. Tryk på Queue Prompt

Input

• Du kan justere bredden, højden ved hjælp af de to inputfelter øverst til venstre
• every_nth indstiller, hvor mange frames af inputvideoen der skal springes over (2 = hver anden frame)
• Nummerfelterne nederst til venstre viser info om den uploadede inputvideo: samlede frames, bredde, højde og FPS fra top til bund.
• Hvis du allerede har en maskevideo af emnet genereret (skal være hvidt emne på sort baggrund), kan du un-mute “Override Subject Mask” sektionen og uploade maskevideoen. Eventuelt kan du mute “Segment Subject” sektionen for at spare noget behandlingstid.
• Nogle gange vil det segmenterede emne ikke være perfekt, du kan tjekke maske kvaliteten ved hjælp af forhåndsvisningsboksen nederst til højre som vist ovenfor. Hvis det er tilfældet, kan du lege med prompten i “Florence2Run” noden for at målrette forskellige kropsdele som “hoved”, “bryst”, “ben” osv. og se, om du får et bedre resultat.

Prompt

• Indstil den positive prompt ved hjælp af batch formatering:
  • f.eks. “0”: “4k, mesterværk, 1 pige stående på stranden, absurdres”, “25”: “HDR, solnedgangsscene, 1 pige med sort hår og en hvid jakke, absurdres”, …
• Negativ prompt er i normal format, du kan tilføje embeddings om ønsket.

Maske Dilationer

• Hver farvet gruppe svarer til farven på den dilation maske, der vil blive genereret af den.
• Du kan indstille formen på masken, sammen med hastigheden af dilation og frame forsinkelse med følgende node:
  • form: “cirkel” er den mest nøjagtige, men tager længere tid at generere. Indstil dette, når du er klar til at udføre den endelige rendering. “firkant” er hurtig at beregne, men mindre nøjagtig, bedst til at teste arbejdsgangen og beslutte sig for IP adapter billeder.
  • dilate_per_frame: Hvor hurtigt masken skal dilatere, større tal = hurtigere dilation hastighed
  • forsinkelse: Hvor mange frames der skal vente, før masken begynder at dilatere.
• Hvis du allerede har en sammensat maskevideo genereret, kan du un-mute “Override Composite Mask” gruppen og uploade den. Det anbefales at omgå dilation maske grupperne, hvis du overskriver for at spare på behandlingstiden.

Modeller

• Brug en god LCM model til checkpointet. Jeg anbefaler ParadigmLCM af Machine Delusions.
• Du kan eventuelt specificere AnimateLCM_sd15_t2v_lora.safetensors med en lav vægt på 0,18 for yderligere at forbedre det endelige resultat.
• Tilføj eventuelle yderligere Loras til modellen ved hjælp af den blå Lora stacker under model loaderen.

AnimateDiff

• Du kan indstille en anden Motion Lora i stedet for den, jeg brugte (LiquidAF-0-1.safetensors)
• Juster Multival Dynamic float værdien højere eller lavere afhængigt af, om du vil have, at resultatet skal have mere eller mindre bevægelse.

IP Adapters

• Her kan du specificere referenceemnerne, der vil blive brugt til at gengive baggrundene for hver af dilation maskerne, samt dit videoemne.
• Farven på hver gruppe repræsenterer den maske, den målretter:
  • Hvid = emne (danser)
  • Sort = Første baggrund
  • Rød = Rød dilation maske baggrund
  • Grøn = Grøn dilation maske baggrund
  • Blå = Blå dilation maske baggrund
• Hvis du vil have, at den endelige rendering skal følge input IP adapter billederne tættere, kan du ændre IPAdapter forudindstillingen fra VIT-G til PLUS i IPA Unified Loader gruppen.

ControlNet

• Denne arbejdsgang bruger 5 forskellige controlnets, herunder AD, Lineart, QR Code, Depth og OpenPose.
• Alle input til controlnets genereres automatisk
• Du kan vælge at overskrive inputvideoen til Depth og Openpose controlnets om ønsket ved at un-mute “Override Depth” og “Override Openpose” grupperne som vist nedenfor:

• Det anbefales at mute “Generate Depth” og “Generate Openpose” grupperne, hvis de overskrives, for at spare behandlingstid.

Sampler

• Som standard vil HiRes Fix sampler gruppen være muted for at spare behandlingstid under test
• Jeg anbefaler at omgå Sampler gruppen, når du eksperimenterer med dilation maske indstillinger for at spare tid.
• Ved endelige renderinger kan du un-mute HiRes Fix gruppen, som vil opskalere og tilføje detaljer til det endelige resultat.

Output

• Der er to output grupper: den til venstre er til standard sampler output, og den til højre er til HiRes Fix sampler output.
• Du kan ændre, hvor filer gemmes ved at ændre “custom_directory” strengen i “FileNamePrefixDateDirFirst” noderne. Som standard vil denne node gemme outputvideoer i en tidsstemplet mappe i ComfyUI “output” mappen
  • f.eks. …/ComfyUI/output/240812/<custom_directory>/<my_video>.mp4

Om Forfatteren

Akatz AI:

• Website:
• https://www.youtube.com/@akatz_ai
• https://www.instagram.com/akatz.ai/
• https://www.tiktok.com/@akatz_ai
• https://x.com/akatz_ai
• https://github.com/akatz-ai

Kontakter:

• Email: akatzfey@sendysoftware.com