Vid2Vid Del 1 | Komposition og Maskering

ComfyUI Vid2Vid workflow, skabt af YVANN, introducerer to forskellige workflows for at opnå høj-kvalitets, professionelle animationer.

• Den første ComfyUI workflow: ComfyUI Vid2Vid Del 1 | Komposition og Maskering
• Den anden workflow: ComfyUI Vid2Vid Del 2 | SDXL Style Transfer

ComfyUI Vid2Vid Del 1 | Komposition og Maskering

Denne workflow forbedrer kreativitet ved at fokusere på komposition og maskering af din originale video.

Trin 1: Models Loader | ComfyUI Vid2Vid Workflow Del 1

Vælg de passende modeller til din animation. Dette inkluderer at vælge checkpoint-modellen, VAE (Variational Autoencoder) model, og LoRA (Low-Rank Adaptation) model. Disse modeller er afgørende for at definere kapaciteten og stilen af din animation.

Trin 2: Video Loader | ComfyUI Vid2Vid Workflow Del 1

Input Video noden er ansvarlig for at importere videofilen, der skal bruges til animationen. Noden læser videoen og konverterer den til individuelle frames, som derefter behandles i efterfølgende trin. Dette muliggør detaljeret frame-for-frame redigering og forbedring.

Trin 3: Fjern Baggrund (Auto Masking) | ComfyUI Vid2Vid Workflow Del 1

Fjern Baggrund (Auto Masking) isolerer subjektet fra baggrunden ved hjælp af en automatiseret maskeringsteknik. Dette involverer modeller, der detekterer og adskiller forgrundsobjektet fra baggrunden, og skaber en binær maske. Dette trin er afgørende for at sikre, at subjektet kan manipuleres uafhængigt af baggrunden.

Trin 4: Maskering af Specifikt Område (Manuel Maske eller Auto Maske) | ComfyUI Vid2Vid Workflow Del 1

Dette trin tillader forfining af masken oprettet i det forrige trin. Du kan enten manuelt maske specifikke områder ved hjælp af andet software eller stole på ComfyUI's 'Segment Anything' automatiserede maskefunktion.

• Manuel Maske: Dette skal håndteres af andet software uden for ComfyUI for præcis kontrol.
• Auto Maske: Ved brug af auto maske-funktionen kan du beskrive, hvad du vil maskere ved hjælp af simple ord i prompt-widgeten. Modellen vil automatisk lave en maske, selvom den måske ikke er lige så præcis som en manuel maske.

Standardversionen bruger en manuel maske. Hvis du vil prøve den automatiske, skal du omgå den manuelle maskegruppe og aktivere den automatiske maskegruppe. Derudover skal du forbinde MASK af 'GroundingDinoSAM' (auto maske) til 'GrowMaskWithBlur' i stedet for at forbinde 'ImageToMask' (manuel maske) til 'GrowMaskWithBlur'.

Trin 5: Transform Maske | ComfyUI Vid2Vid Workflow Del 1

Transform Maske konverterer masken til et billede og tillader yderligere justeringer såsom tilføjelse af sløring til den originale maske. Dette hjælper med at blødgøre kanterne og få masken til at blende mere naturligt med resten af billedet.

Trin 6: Input Prompt | ComfyUI Vid2Vid Workflow Del 1

Indtast tekstuelle prompts for at guide animationsprocessen. Prompts kan beskrive den ønskede stil, udseende eller handlinger af subjektet. Det er afgørende for at definere den kreative retning af animationen, og sikre at det endelige output matcher den forestillede kunstneriske stil.

Trin 7: AnimateDiff | ComfyUI Vid2Vid Workflow Del 1

AnimateDiff noden skaber glatte animationer ved at identificere forskelle mellem på hinanden følgende frames og anvende disse ændringer gradvist. Dette hjælper med at bevare bevægelsessammenhæng og reducere pludselige ændringer i animationen, hvilket fører til et mere flydende og naturligt udseende.

Trin 8: IPAdapter | ComfyUI Vid2Vid Workflow Del 1

IPAdapter noden tilpasser inputbillederne for at alignere med de ønskede outputstilarter eller -funktioner. Dette inkluderer opgaver som farvelægning og stiloverførsel, hvilket sikrer, at hver frame af animationen opretholder et konsistent udseende og følelse.

Trin 9: ControlNet | ComfyUI Vid2Vid Workflow Del 1

Ved brug af ControlNet - v1.1 - Instruct Pix2Pix Version model forbedres diffusionsmodeller ved at gøre det muligt for dem at behandle yderligere inputbetingelser (f.eks. kantkort, segmenteringskort). Det letter tekst-til-billede generation ved at kontrollere disse foruddannede modeller med opgavespecifikke betingelser i en end-to-end måde, hvilket muliggør robust læring selv med mindre datasæt.

Trin 10: Render | ComfyUI Vid2Vid Workflow Del 1

I Render trin, bliver de behandlede frames samlet til en endelig video output. Dette trin sikrer, at alle individuelle frames kombineres sømløst til en sammenhængende animation, klar til eksport og videre brug.

Trin 11: Komponer Baggrund | ComfyUI Vid2Vid Workflow Del 1

Dette involverer sammenstilling af det animerede subjekt med baggrunden. Du kan tilføje en statisk eller dynamisk baggrund til animationen, hvilket sikrer, at subjektet integreres glat med den nye baggrund for at skabe et visuelt tiltalende slutprodukt.

Ved at anvende ComfyUI Vid2Vid workflow Del 1, kan du skabe indviklede animationer med præcis kontrol over hver eneste aspekt af processen, fra komposition og maskering til endelig rendering.