ComfyUI Vid2Vid Dance Transfer

ComfyUI Vid2Vid Dance Transfer er en kraftig ComfyUI Vid2Vid-arbeidsflyt som lar brukere stilisere og forvandle virkelige videoer til forskjellige objekter eller elementer. Med denne arbeidsflyten kan du lage fantastiske videoanimasjoner ved å overføre bevegelsen og stilen fra en kildevideo til et målbildet eller objekt. Denne opplæringen vil veilede deg gjennom de viktigste komponentene og innstillingene som kreves for å oppnå de beste resultatene.

Kreditt

Takk til MDMZ og DP for deres utrolige bidrag til opprettelsen av denne arbeidsflyten! MDMZ delte sin ComfyUI Vid2Vid Dance Transfer Workflow gjennom sin YouTube-opplæring , som bygger på DPs originale arbeidsflyt.

1. Hva gjør ComfyUI Vid2Vid Dance Transfer Workflow?

ComfyUI Vid2Vid Dance Transfer-arbeidsflyten lar deg ta en virkelig video og forvandle den til en stilisert animasjon. Den overfører bevegelse og dansetrinn fra kildevideoen til et målbildet eller objekt du velger.

2. Viktige komponenter i ComfyUI Vid2Vid Workflow

2.1 Opplasting av video og oppretting av maske

• ComfyUI Vid2Vid-arbeidsflyten starter med VHS_LoadVideo-komponenten, hvor du laster opp kildevideoen som inneholder dansetrinnene du vil overføre.
• LayerMask: RemBgUltra-komponenten brukes til å fjerne bakgrunnen fra videorammene og lage en svart-hvitt-maske av motivet. Denne masken er avgjørende for å identifisere og overføre bevegelsen riktig.
• ImageToMask- og MaskToImage-komponentene konverterer mellom bilde- og maskeformater etter behov i ComfyUI Vid2Vid-arbeidsflyten.
• 🌟 Viktige tips: RunComfy-plattformen har forhåndslastet "RemBgultra-modellen" som kreves for "Layer Style"-noden. Hvis du har installert "Layer Style"-nodene selv, vennligst slett "Layer Style"-filen fra din private filleser for å unngå konflikter. Når du har slettet "Layer Style"-filen din, vil arbeidsflyten bruke RunComfy-forhåndslastingen og kjøre jevnt.

2.2 Konfigurering av målbildet med IPAdapter

• IPAdapterAdvanced-komponentene brukes til å laste inn og konfigurere målbildet eller objektet som skal motta ComfyUI Vid2Vid-dansoverføringen. Du kan laste opp målbildet ved hjelp av LoadImage-noden, og laste opp målbakgrunnsbildet ved hjelp av LoadBgImage-noden.
• IPAdapterUnifiedLoader brukes til å laste inn IPAdapter, som bestemmer styrken av målbildets innflytelse på utdataene.

2.3 Påføring av AnimateDiff for bevegelsesoverføring

• Kjernen i ComfyUI Vid2Vid-dansoverføringen drives av AnimateDiff Latent Condition Model (LCM). Dette lastes inn ved hjelp av ADE_LoadAnimateDiffModel-komponenten i ComfyUI Vid2Vid.
• Ytterligere komponenter som ADE_AnimateDiffSamplingSettings, ADE_LoopedUniformContextOptions og ADE_ApplyAnimateDiffModelSimple brukes til å konfigurere samplingsinnstillingene, kontekstalternativene og anvende AnimateDiff-modellen henholdsvis i ComfyUI Vid2Vid.
• ADE_UseEvolvedSampling-komponenten brukes til å velge riktig samplingsmetode for AnimateDiff-modellen i ComfyUI Vid2Vid.

2.4 Veiledning av utdata med ControlNet

• ControlNet brukes til å veilede og definere motivets form og omriss i utdata-animasjonen.
• ControlNetLoaderAdvanced-komponentene brukes til å laste inn ControlNet-modellene. Denne arbeidsflyten bruker to ControlNet-modeller: QR Code Monster og Lineart.
• ControlNet Stacker-komponentene brukes til å stable og kombinere ControlNet-utdataene med justerbare styrker i ComfyUI Vid2Vid Transfer.

2.5 Generering av utdata-rammer med KSampler

• KSampler (Efficient)-komponentene i ComfyUI Vid2Vid er ansvarlige for å generere utdata-rammene basert på alle de angitte konfigurasjonene og inputene.
• Hoved-KSampler-komponenten behandler videorammene for å lage animasjonsforhåndsvisningen. Den tar AnimateDiff-modellen, IPAdapter-utdataene, ControlNet-stakken og andre innstillinger som input.
• Den andre KSampler-komponenten brukes til oppskalering og støyreduksjon av ComfyUI Vid2Vid-utdata-rammene.

2.6 Oppskalering hvis nødvendig

• ImageScaleBy-komponenten brukes til å skalere opp oppløsningen til utdata-rammene. ImageUpscaleWithModel-komponenten brukes til å ytterligere oppskalere rammene ved hjelp av en valgt oppskaleringsmodell. Arbeidsflyten er som standard deaktivert for oppskaleringskomponentene. Hvis du trenger det, aktiver disse komponentene for å få et bedre resultat.