ComfyUI Vid2Vid Dance Transfer

ComfyUI Vid2Vid Dance Transfer er en kraftfuld ComfyUI Vid2Vid workflow, der giver brugerne mulighed for at stilisere og transformere virkelige videoer til forskellige objekter eller elementer. Med denne workflow kan du skabe fantastiske videoanimationer ved at overføre bevægelser og stil fra en kildevideo til et mål billede eller objekt. Denne tutorial vil guide dig gennem de vigtigste komponenter og indstillinger, der kræves for at opnå de bedste resultater.

Kredit

Tak til MDMZ og DP for deres utrolige bidrag til at skabe denne workflow! MDMZ delte sin ComfyUI Vid2Vid Dance Transfer Workflow gennem sin YouTube tutorial , som bygger på DP's originale workflow.

1. Hvad gør ComfyUI Vid2Vid Dance Transfer Workflow?

ComfyUI Vid2Vid Dance Transfer workflow gør det muligt at tage en virkelig video og transformere den til en stiliseret animation. Den overfører bevægelser og dansetrin fra kildevideoen til et mål billede eller objekt efter eget valg.

2. Nøglekomponenter i ComfyUI Vid2Vid Workflow

2.1 Upload af Video og Oprettelse af Maske

• ComfyUI Vid2Vid workflow starter med VHS_LoadVideo komponenten, hvor du uploader kildevideoen, der indeholder de dansetrin, du vil overføre.
• LayerMask: RemBgUltra komponenten bruges til at fjerne baggrunden fra videoframes og skabe en sort/hvid maske af emnet. Denne maske er afgørende for korrekt identifikation og overførsel af bevægelserne.
• ImageToMask og MaskToImage komponenterne konverterer mellem billede- og maskeformater efter behov i ComfyUI Vid2Vid workflow.
• 🌟 Vigtige Tips: RunComfy platformen har forudindlæst "RemBgultra modellen" krævet for "Layer Style" noden. Hvis du har installeret "Layer Style" noderne selv, bedes du slette "Layer Style" filen fra din private filbrowser for at undgå konflikter. Når du har slettet din "Layer Style" fil, vil workflowen bruge RunComfy forudindlæsningen og køre problemfrit.

2.2 Opsætning af Mål Billede med IPAdapter

• IPAdapterAdvanced komponenterne bruges til at indlæse og konfigurere mål billedet eller objektet, der vil modtage ComfyUI Vid2Vid dance transfer. Du kan uploade mål billedet ved hjælp af LoadImage noden, og uploade mål baggrundsbilledet ved hjælp af LoadBgImage noden
• IPAdapterUnifiedLoader bruges til at indlæse IPAdapter, som bestemmer styrken af mål billedets indflydelse på output.

2.3 Anvendelse af AnimateDiff til Bevægelsesoverførsel

• Kernen i ComfyUI Vid2Vid dance transfer er drevet af AnimateDiff Latent Condition Model (LCM). Dette indlæses ved hjælp af ADE_LoadAnimateDiffModel komponenten i ComfyUI Vid2Vid.
• Yderligere komponenter som ADE_AnimateDiffSamplingSettings, ADE_LoopedUniformContextOptions og ADE_ApplyAnimateDiffModelSimple bruges til at konfigurere sampling indstillinger, kontekstmuligheder og anvende AnimateDiff modellen henholdsvis i ComfyUI Vid2Vid.
• ADE_UseEvolvedSampling komponenten bruges til at vælge den passende sampling metode for AnimateDiff modellen i ComfyUI Vid2Vid.

2.4 Vejledning af Output med ControlNet

• ControlNet bruges til at vejlede og definere emnets form og kontur i output animationen.
• ControlNetLoaderAdvanced komponenterne bruges til at indlæse ControlNet modellerne. Denne workflow bruger to ControlNet modeller: QR Code Monster og Lineart.
• ControlNet Stacker komponenterne bruges til at stable og kombinere ControlNet outputs med justerbare styrker i ComfyUI Vid2Vid Transfer.

2.5 Generering af Output Frames med KSampler

• KSampler (Efficient) komponenterne i ComfyUI Vid2Vid er ansvarlige for at generere output frames baseret på alle de givne konfigurationer og inputs.
• Hoved KSampler komponenten behandler videoframes for at skabe animationsforhåndsvisningen. Den tager AnimateDiff modellen, IPAdapter outputs, ControlNet stack og andre indstillinger som inputs.
• Den anden KSampler komponent bruges til opskalering og støjreduktion af ComfyUI Vid2Vid output frames.

2.6 Opskalering om nødvendigt

• ImageScaleBy komponenten bruges til at opskalere opløsningen af output frames. ImageUpscaleWithModel komponenten bruges til yderligere at opskalere frames ved hjælp af en valgt opskalering model. Workflowen er som standard indstillet til at deaktivere opskalering komponenterne. Hvis du har brug for det, aktiver disse komponenter for at opnå et bedre resultat.