Vid2Vid Deel 1 | Compositie en Maskeren

De ComfyUI Vid2Vid workflow, gemaakt door YVANN, introduceert twee verschillende workflows om hoogwaardige, professionele animaties te bereiken.

• De eerste ComfyUI workflow: ComfyUI Vid2Vid Deel 1 | Compositie en Maskeren
• De tweede workflow: ComfyUI Vid2Vid Deel 2 | SDXL Style Transfer

ComfyUI Vid2Vid Deel 1 | Compositie en Maskeren

Deze workflow verhoogt de creativiteit door te focussen op de compositie en het maskeren van je originele video.

Stap 1: Models Loader | ComfyUI Vid2Vid Workflow Deel 1

Selecteer de juiste modellen voor je animatie. Dit omvat het kiezen van het checkpoint model, VAE (Variational Autoencoder) model, en LoRA (Low-Rank Adaptation) model. Deze modellen zijn cruciaal voor het definiëren van de mogelijkheden en stijl van je animatie.

Stap 2: Video Loader | ComfyUI Vid2Vid Workflow Deel 1

De Input Video node is verantwoordelijk voor het importeren van het videobestand dat gebruikt zal worden voor de animatie. De node leest de video en converteert deze naar individuele frames, die vervolgens in de volgende stappen worden verwerkt. Dit maakt gedetailleerde frame-voor-frame bewerking en verbetering mogelijk.

Stap 3: Achtergrond Verwijderen (Automatisch Maskeren) | ComfyUI Vid2Vid Workflow Deel 1

Achtergrond Verwijderen (Automatisch Maskeren) isoleert het onderwerp van de achtergrond met behulp van een geautomatiseerde maskeringstechniek. Dit omvat modellen die het voorgrondonderwerp detecteren en scheiden van de achtergrond, waardoor een binaire maskering ontstaat. Deze stap is cruciaal om ervoor te zorgen dat het onderwerp onafhankelijk van de achtergrond gemanipuleerd kan worden.

Stap 4: Specifiek Gebied Maskeren (Handmatig Masker of Automatisch Masker) | ComfyUI Vid2Vid Workflow Deel 1

Deze stap maakt verfijning van het masker mogelijk dat in de vorige stap is gemaakt. Je kunt specifieke gebieden handmatig maskeren met andere software of vertrouwen op de 'Segment Anything' geautomatiseerde maskering van ComfyUI.

• Handmatig Masker: Dit moet worden uitgevoerd met andere software buiten ComfyUI voor nauwkeurige controle.
• Automatisch Masker: Met de automatische maskering kun je beschrijven wat je wilt maskeren met eenvoudige woorden in de prompt widget. Het model maakt automatisch een masker, hoewel het mogelijk niet zo nauwkeurig is als een handmatig masker.

De standaardversie gebruikt een handmatig masker. Als je de automatische versie wilt proberen, schakel dan de handmatige masker-groep uit en schakel de automatische masker-groep in. Verbind bovendien de MASK van 'GroundingDinoSAM' (automatisch masker) met 'GrowMaskWithBlur' in plaats van 'ImageToMask' (handmatig masker) met 'GrowMaskWithBlur'.

Stap 5: Masker Transformeren | ComfyUI Vid2Vid Workflow Deel 1

Masker Transformeren converteert het masker naar een afbeelding en maakt extra aanpassingen mogelijk zoals het toevoegen van vervaging aan het originele masker. Dit helpt om de randen te verzachten en het masker natuurlijker te laten mengen met de rest van de afbeelding.

Stap 6: Invoerprompt | ComfyUI Vid2Vid Workflow Deel 1

Voer tekstuele prompts in om het animatieproces te sturen. De prompt kan de gewenste stijl, het uiterlijk of de acties van het onderwerp beschrijven. Het is cruciaal voor het definiëren van de creatieve richting van de animatie, zodat het eindresultaat overeenkomt met de beoogde artistieke stijl.

Stap 7: AnimateDiff | ComfyUI Vid2Vid Workflow Deel 1

De AnimateDiff node maakt vloeiende animaties door verschillen tussen opeenvolgende frames te identificeren en deze wijzigingen geleidelijk toe te passen. Dit helpt om bewegingscoherentie te behouden en abrupte veranderingen in de animatie te verminderen, wat leidt tot een vloeiender en natuurlijker uiterlijk.

Stap 8: IPAdapter | ComfyUI Vid2Vid Workflow Deel 1

De IPAdapter node past de invoerafbeeldingen aan om overeen te komen met de gewenste uitvoerstijlen of kenmerken. Dit omvat taken zoals inkleuren en stijltransfer, waardoor elk frame van de animatie een consistente look en feel behoudt.

Stap 9: ControlNet | ComfyUI Vid2Vid Workflow Deel 1

Het gebruik van ControlNet - v1.1 - Instruct Pix2Pix Version model verbetert diffusie modellen door hen in staat te stellen extra invoercondities (bijv. randkaarten, segmentatiekaarten) te verwerken. Het faciliteert tekst-naar-afbeelding generatie door deze voorgetrainde modellen te controleren met taakspecifieke condities op een end-to-end manier, waardoor robuust leren mogelijk wordt zelfs met kleinere datasets.

Stap 10: Renderen | ComfyUI Vid2Vid Workflow Deel 1

In de Render stap worden de verwerkte frames samengesteld tot een eindvideo. Deze stap zorgt ervoor dat alle individuele frames naadloos worden gecombineerd tot een coherente animatie, klaar voor export en verder gebruik.

Stap 11: Achtergrond Componeren | ComfyUI Vid2Vid Workflow Deel 1

Dit omvat het samenstellen van het geanimeerde onderwerp met de achtergrond. Je kunt een statische of dynamische achtergrond toevoegen aan de animatie, zodat het onderwerp soepel integreert met de nieuwe achtergrond om een visueel aantrekkelijk eindproduct te creëren.

Door gebruik te maken van de ComfyUI Vid2Vid workflow Deel 1, kun je ingewikkelde animaties maken met nauwkeurige controle over elk aspect van het proces, van compositie en maskeren tot de uiteindelijke rendering.