ComfyUI Vid2Vid Dance Transfer

ComfyUI Vid2Vid Dance Transfer är ett kraftfullt ComfyUI Vid2Vid-arbetsflöde som gör det möjligt för användare att stilisera och transformera verkliga videor till olika objekt eller element. Med detta arbetsflöde kan du skapa fantastiska videoanimationer genom att överföra rörelse och stil från en källvideo till en målbild eller objekt. Denna handledning kommer att vägleda dig genom de viktigaste komponenterna och inställningarna som krävs för att uppnå bästa resultat.

Credit

Tack till MDMZ och DP för deras otroliga bidrag till att skapa detta arbetsflöde! MDMZ delade sitt ComfyUI Vid2Vid Dance Transfer Workflow genom sin YouTube-handledning , som bygger på DPs ursprungliga arbetsflöde.

1. Vad gör ComfyUI Vid2Vid Dance Transfer Workflow?

ComfyUI Vid2Vid Dance Transfer-arbetsflödet gör det möjligt för dig att ta en verklig video och förvandla den till en stiliserad animation. Det överför rörelse och danssteg från källvideon till en målbild eller objekt av ditt val.

2. Nyckelkomponenter i ComfyUI Vid2Vid Workflow

2.1 Ladda upp video och skapa mask

• ComfyUI Vid2Vid-arbetsflödet börjar med VHS_LoadVideo-komponenten, där du laddar upp källvideon som innehåller de danssteg du vill överföra.
• LayerMask: RemBgUltra-komponenten används för att ta bort bakgrunden från videoramarna och skapa en svartvit mask av ämnet. Denna mask är avgörande för att korrekt identifiera och överföra rörelsen.
• ImageToMask- och MaskToImage-komponenterna konverterar mellan bild- och maskformat efter behov i ComfyUI Vid2Vid-arbetsflödet.
• 🌟 Viktiga tips: RunComfy-plattformen har förladdat "RemBgultra-modellen" som krävs för "Layer Style"-noden. Om du har installerat "Layer Style"-noderna själv, ta bort "Layer Style"-filen från din privata filbläddrare för att undvika konflikter. När du har tagit bort din "Layer Style"-fil kommer arbetsflödet att använda RunComfy-förladdningen och köras smidigt.

2.2 Ställa in målbild med IPAdapter

• IPAdapterAdvanced-komponenterna används för att ladda och konfigurera målbilden eller objektet som kommer att ta emot ComfyUI Vid2Vid-dansöverföringen. Du kan ladda upp målbilden med LoadImage-noden och ladda upp målbildens bakgrundsbild med LoadBgImage-noden
• IPAdapterUnifiedLoader används för att ladda IPAdapter, som bestämmer styrkan av målbildens påverkan på utdata.

2.3 Applicera AnimateDiff för rörelseöverföring

• Kärnan i ComfyUI Vid2Vid-dansöverföringen drivs av AnimateDiff Latent Condition Model (LCM). Detta laddas med ADE_LoadAnimateDiffModel-komponenten i ComfyUI Vid2Vid.
• Ytterligare komponenter som ADE_AnimateDiffSamplingSettings, ADE_LoopedUniformContextOptions och ADE_ApplyAnimateDiffModelSimple används för att konfigurera samplingsinställningarna, kontextalternativen och tillämpa AnimateDiff-modellen respektive i ComfyUI Vid2Vid.
• ADE_UseEvolvedSampling-komponenten används för att välja lämplig samplingsmetod för AnimateDiff-modellen i ComfyUI Vid2Vid.

2.4 Vägleda utdata med ControlNet

• ControlNet används för att vägleda och definiera ämnets form och kontur i utdatanimationen.
• ControlNetLoaderAdvanced-komponenterna används för att ladda ControlNet-modellerna. Detta arbetsflöde använder två ControlNet-modeller: QR Code Monster och Lineart.
• ControlNet Stacker-komponenterna används för att stapla och kombinera ControlNet-utgångarna med justerbar styrka i ComfyUI Vid2Vid Transfer.

2.5 Generera utdata ramar med KSampler

• KSampler (Efficient)-komponenterna i ComfyUI Vid2Vid ansvarar för att generera utdata ramar baserat på alla tillhandahållna konfigurationer och ingångar.
• Huvudkomponenten KSampler bearbetar videoramarna för att skapa animeringsförhandsvisningen. Den tar AnimateDiff-modellen, IPAdapter-utgångar, ControlNet-stacken och andra inställningar som indata.
• Den andra KSampler-komponenten används för att skala upp och reducera brus i ComfyUI Vid2Vid-utgångsramarna.

2.6 Uppskalning om det behövs

• ImageScaleBy-komponenten används för att skala upp upplösningen på utdata ramarna. ImageUpscaleWithModel-komponenten används för att ytterligare skala upp ramarna med en vald uppskalningsmodell. Arbetsflödet är som standard inaktiverat för uppskalningskomponenterna. Om du behöver det, aktivera dessa komponenter för att få ett bättre resultat.