Lineaire Masker Dilatatie | Prachtige Animaties

ComfyUI Lineaire Masker Dilatatie

Maak prachtige video-animaties door je onderwerp (danser) te transformeren en ze via een masker dilatatie-effect door verschillende scènes te laten reizen. Deze workflow is ontworpen voor video's met één onderwerp.

Hoe ComfyUI Lineaire Masker Dilatatie Workflow te gebruiken:

1. Upload een onderwerpvideo in de Input-sectie
2. Selecteer de gewenste breedte en hoogte van de uiteindelijke video, evenals hoeveel frames van de invoervideo moeten worden overgeslagen met "every_nth". Je kunt ook het totale aantal frames dat gerenderd moet worden beperken met "frame_load_cap".
3. Vul de positieve en negatieve prompt in. Stel batch frame tijden in om overeen te komen met wanneer je wilt dat de scène-overgangen plaatsvinden.
4. Upload afbeeldingen voor elk van de IP Adapter onderwerp masker kleuren:
   1. Wit = onderwerp (danser)
   2. Zwart = Eerste achtergrond
   3. Rood = Rode dilatatie masker achtergrond
   4. Groen = Groene dilatatie masker achtergrond
   5. Blauw = Blauwe dilatatie masker achtergrond
5. Laad een goed LCM controlepunt (ik gebruik ParadigmLCM van Machine Delusions) in de "Models" sectie.
   1. Voeg eventuele loras toe met de Lora stapelaar onder de model loader
6. Druk op Queue Prompt

Input

• Je kunt de breedte en hoogte aanpassen met de twee invoervelden linksboven
• every_nth stelt in hoeveel frames van de input moeten worden overgeslagen (2 = om de andere frame)
• De numerieke velden linksonder tonen informatie over de geüploade invoervideo: totale frames, breedte, hoogte en FPS van boven naar beneden.
• Als je al een masker video van het onderwerp hebt gegenereerd (moet een wit onderwerp op een zwarte achtergrond zijn), kun je de "Override Subject Mask" sectie dempen en de masker video uploaden. Optioneel kun je de "Segment Subject" sectie dempen om wat verwerkingstijd te besparen.
• Soms zal het gesegmenteerde onderwerp niet perfect zijn, je kunt de maskerkwaliteit controleren met het voorbeeldvak rechtsonder zoals hierboven te zien is. Als dat het geval is, kun je spelen met de prompt in de "Florence2Run" node om verschillende lichaamsdelen zoals "hoofd", "borst", "benen", enz. te targeten en te zien of je een beter resultaat krijgt.

Prompt

• Stel de positieve prompt in met batchformattering:
  • bijv. "0": "4k, meesterwerk, 1 meisje staand op het strand, absurdres", "25": "HDR, zonsondergang scène, 1 meisje met zwart haar en een witte jas, absurdres", …
• Negatieve prompt is normaal formaat, je kunt embeddings toevoegen indien gewenst.

Masker Dilataties

• Elke gekleurde groep komt overeen met de kleur van het dilatatie masker dat ermee gegenereerd wordt.
• Je kunt de vorm van het masker instellen, evenals de snelheid van dilatatie en framedelay met de volgende node:
  • vorm: "cirkel" is het meest nauwkeurig maar duurt langer om te genereren. Stel dit in wanneer je klaar bent om de uiteindelijke rendering uit te voeren. "vierkant" is snel te berekenen maar minder nauwkeurig, het beste voor het testen van de workflow en het beslissen over IP adapter afbeeldingen.
  • dilate_per_frame: Hoe snel het masker moet dilateren, grotere getallen = snellere dilatatiesnelheid
  • vertraging: Hoeveel frames te wachten voordat het masker begint te dilateren.
• Als je al een samengestelde masker video hebt gegenereerd, kun je de "Override Composite Mask" groep dempen en deze uploaden. Het wordt aanbevolen om de dilatatie masker groepen te omzeilen als je overschrijft om verwerkingstijd te besparen.

Modellen

• Gebruik een goed LCM model voor het controlepunt. Ik raad ParadigmLCM van Machine Delusions aan.
• Je kunt optioneel de AnimateLCM_sd15_t2v_lora.safetensors specificeren met een laag gewicht van 0.18 om het uiteindelijke resultaat verder te verbeteren.
• Voeg eventuele extra Loras toe aan het model met de blauwe Lora stapelaar onder de model loader.

AnimateDiff

• Je kunt een andere Motion Lora instellen in plaats van degene die ik heb gebruikt (LiquidAF-0-1.safetensors)
• Pas de Multival Dynamic float waarde hoger of lager aan afhankelijk van of je wilt dat het resultaat meer of minder beweging heeft.

IP Adapters

• Hier kun je de referentieonderwerpen specificeren die gebruikt worden om de achtergronden voor elk van de dilatatie maskers te renderen, evenals je video-onderwerp.
• De kleur van elke groep vertegenwoordigt het masker waarop het zich richt:
  • Wit = onderwerp (danser)
  • Zwart = Eerste achtergrond
  • Rood = Rode dilatatie masker achtergrond
  • Groen = Groene dilatatie masker achtergrond
  • Blauw = Blauwe dilatatie masker achtergrond
• Als je wilt dat de uiteindelijke rendering meer lijkt op de invoer IP adapter afbeeldingen, kun je de IPAdapter preset wijzigen van VIT-G naar PLUS in de IPA Unified Loader groep.

ControlNet

• Deze workflow maakt gebruik van 5 verschillende controlnets, waaronder AD, Lineart, QR Code, Depth en OpenPose.
• Alle inputs voor de controlnets worden automatisch gegenereerd
• Je kunt ervoor kiezen om de invoervideo voor de Depth en Openpose controlnets te overschrijven indien gewenst door de “Override Depth” en “Override Openpose” groepen te dempen zoals hieronder te zien is:

• Het wordt aanbevolen om de “Generate Depth” en “Generate Openpose” groepen te dempen als je overschrijft om verwerkingstijd te besparen.

Sampler

• Standaard zal de HiRes Fix sampler groep gedempt zijn om verwerkingstijd te besparen tijdens het testen
• Ik raad aan om de Sampler groep ook te omzeilen bij het experimenteren met dilatatie masker instellingen om tijd te besparen.
• Bij uiteindelijke renderings kun je de HiRes Fix groep dempen, die het uiteindelijke resultaat zal opschalen en details zal toevoegen.

Output

• Er zijn twee output groepen: de linker is voor standaard sampler output, en de rechter is voor de HiRes Fix sampler output.
• Je kunt wijzigen waar bestanden worden opgeslagen door de "custom_directory" string in de “FileNamePrefixDateDirFirst” nodes te wijzigen. Standaard zal deze node output video's opslaan in een directory met tijdstempel in de ComfyUI "output" directory
  • bijv. …/ComfyUI/output/240812/<custom_directory>/<my_video>.mp4

Over de Auteur

Akatz AI:

• Website:
• https://www.youtube.com/@akatz_ai
• https://www.instagram.com/akatz.ai/
• https://www.tiktok.com/@akatz_ai
• https://x.com/akatz_ai
• https://github.com/akatz-ai

Contacten:

• Email: akatzfey@sendysoftware.com