Vid2Vid Del 1 | Komposition och Maskering

ComfyUI Vid2Vid arbetsflöde, skapat av YVANN, introducerar två distinkta arbetsflöden för att uppnå högkvalitativa, professionella animationer.

• Det första ComfyUI arbetsflödet: ComfyUI Vid2Vid Del 1 | Komposition och Maskering
• Det andra arbetsflödet: ComfyUI Vid2Vid Del 2 | SDXL Style Transfer

ComfyUI Vid2Vid Del 1 | Komposition och Maskering

Detta arbetsflöde förbättrar kreativiteten genom att fokusera på komposition och maskering av din ursprungliga video.

Steg 1: Models Loader | ComfyUI Vid2Vid Workflow Del1

Välj de lämpliga modellerna för din animation. Detta inkluderar att välja checkpoint-modellen, VAE (Variational Autoencoder) modell och LoRA (Low-Rank Adaptation) modell. Dessa modeller är avgörande för att definiera kapaciteten och stilen på din animation.

Steg 2: Video Loader | ComfyUI Vid2Vid Workflow Del1

Input Video noden ansvarar för att importera videofilen som kommer att användas för animationen. Noden läser videon och konverterar den till individuella ramar, som sedan bearbetas i efterföljande steg. Detta möjliggör detaljerad redigering och förbättring av varje ram.

Steg 3: Ta bort bakgrund (Auto Masking) | ComfyUI Vid2Vid Workflow Del1

Ta bort bakgrund (Auto Masking) isolerar ämnet från bakgrunden med hjälp av en automatiserad maskeringsteknik. Detta involverar modeller som upptäcker och separerar förgrundsämnet från bakgrunden, vilket skapar en binär mask. Detta steg är avgörande för att säkerställa att ämnet kan manipuleras oberoende av bakgrunden.

Steg 4: Maskering av specifikt område (Manuell Mask eller Auto Mask) | ComfyUI Vid2Vid Workflow Del1

Detta steg tillåter förfining av masken som skapades i föregående steg. Du kan antingen manuellt maskera specifika områden med annan programvara eller förlita dig på ComfyUI's 'Segment Anything' automatiserade maskfunktion.

• Manuell Mask: Detta behöver hanteras med annan programvara utanför ComfyUI för exakt kontroll.
• Auto Mask: Med auto mask-funktionen kan du beskriva vad du vill maskera med enkla ord i prompt-widgeten. Modellen skapar en mask automatiskt, även om den kanske inte är lika exakt som en manuell mask.

Standardversionen använder en manuell mask. Om du vill prova den automatiska, vänligen kringgå den manuella maskgruppen och aktivera den automatiska maskgruppen. Anslut dessutom MASK av 'GroundingDinoSAM' (auto mask) till 'GrowMaskWithBlur' istället för att ansluta 'ImageToMask' (manuell mask) till 'GrowMaskWithBlur'.

Steg 5: Transform Mask | ComfyUI Vid2Vid Workflow Del1

Transform Mask konverterar masken till en bild och tillåter ytterligare justeringar som att lägga till oskärpa till den ursprungliga masken. Detta hjälper till att mjuka upp kanterna och få masken att smälta in mer naturligt med resten av bilden.

Steg 6: Input Prompt | ComfyUI Vid2Vid Workflow Del1

Ange textuella prompts för att styra animationsprocessen. Promten kan beskriva den önskade stilen, utseendet eller handlingarna för ämnet. Det är avgörande för att definiera den kreativa riktningen för animationen och säkerställa att slutresultatet matchar den föreställda konstnärliga stilen.

Steg 7: AnimateDiff | ComfyUI Vid2Vid Workflow Del1

AnimateDiff noden skapar mjuka animationer genom att identifiera skillnader mellan på varandra följande ramar och applicera dessa förändringar gradvis. Detta hjälper till att bevara rörelsesammanhanget och minska abrupta förändringar i animationen, vilket leder till ett mer flytande och naturligt utseende.

Steg 8: IPAdapter | ComfyUI Vid2Vid Workflow Del1

IPAdapter noden anpassar inmatningsbilderna för att alignera dem med de önskade utgångsstilarna eller funktionerna. Detta inkluderar uppgifter som färgläggning och stilöverföring, vilket säkerställer att varje ram av animationen bibehåller ett konsekvent utseende och känsla.

Steg 9: ControlNet | ComfyUI Vid2Vid Workflow Del1

Användning av ControlNet - v1.1 - Instruct Pix2Pix Version model förbättrar diffusionsmodeller genom att möjliggöra bearbetning av ytterligare inmatningsvillkor (t.ex. kantkartor, segmenteringskartor). Det underlättar text-till-bild-generering genom att kontrollera dessa förtränade modeller med uppgiftsspecifika villkor på ett end-to-end sätt, vilket möjliggör robust inlärning även med mindre dataset.

Steg 10: Render | ComfyUI Vid2Vid Workflow Del1

I Render steget kompileras de bearbetade ramarna till en slutlig videooutput. Detta steg säkerställer att alla individuella ramar kombineras sömlöst till en sammanhängande animation, redo för export och vidare användning.

Steg 11: Komponera bakgrund | ComfyUI Vid2Vid Workflow Del1

Detta involverar att komponera det animerade ämnet med bakgrunden. Du kan lägga till en statisk eller dynamisk bakgrund till animationen, vilket säkerställer att ämnet integreras smidigt med den nya bakgrunden för att skapa en visuellt tilltalande slutprodukt.

Genom att använda ComfyUI Vid2Vid arbetsflöde Del1, kan du skapa intrikata animationer med exakt kontroll över varje aspekt av processen, från komposition och maskering till slutlig rendering.