ComfyUI Vid2Vid Dance Transfer

ComfyUI Vid2Vid Dance Transfer is een krachtige ComfyUI Vid2Vid workflow die gebruikers in staat stelt om echte video's te stijlen en te transformeren naar verschillende objecten of elementen. Met deze workflow kun je verbluffende video-animaties maken door de beweging en stijl van een bronvideo over te dragen naar een doelafbeelding of object. Deze tutorial zal je begeleiden door de belangrijkste componenten en instellingen die nodig zijn om de beste resultaten te bereiken.

Credit

Dank aan MDMZ en DP voor hun ongelooflijke bijdragen aan het creëren van deze workflow! MDMZ deelde zijn ComfyUI Vid2Vid Dance Transfer Workflow via zijn YouTube tutorial , die voortbouwt op DP's originele workflow.

1. Wat doet ComfyUI Vid2Vid Dance Transfer Workflow?

De ComfyUI Vid2Vid Dance Transfer workflow stelt je in staat om een echte video te nemen en deze te transformeren in een gestileerde animatie. Het draagt de beweging en dansbewegingen over van de bronvideo naar een doelafbeelding of object naar keuze.

2. Belangrijke Componenten van de ComfyUI Vid2Vid Workflow

2.1 Uploaden van Video en Maken van Masker

• De ComfyUI Vid2Vid workflow begint met de VHS_LoadVideo component, waar je de bronvideo uploadt die de dansbewegingen bevat die je wilt overdragen.
• De LayerMask: RemBgUltra component wordt gebruikt om de achtergrond van de videoframes te verwijderen en een zwart-wit masker van het onderwerp te maken. Dit masker is cruciaal voor het correct identificeren en overdragen van de beweging.
• De ImageToMask en MaskToImage componenten converteren tussen beeld- en maskerformaten zoals nodig in de ComfyUI Vid2Vid workflow.
• 🌟 Belangrijke Tips: RunComfy platform heeft het "RemBgultra model" vooraf geladen dat nodig is voor de "Layer Style" node. Als je de "Layer Style" nodes zelf hebt geïnstalleerd, verwijder dan het "Layer Style" bestand uit je privé bestandsbrowser om conflicten te voorkomen. Zodra je je "Layer Style" bestand hebt verwijderd, zal de workflow de RunComfy preload gebruiken en soepel draaien.

2.2 Instellen van Doelafbeelding met IPAdapter

• De IPAdapterAdvanced componenten worden gebruikt om de doelafbeelding of het object te laden en configureren dat de ComfyUI Vid2Vid dansoverdracht zal ontvangen. Je kunt de doelafbeelding uploaden met de LoadImage node, en de doelachtergrond afbeelding uploaden met de LoadBgImage node.
• De IPAdapterUnifiedLoader wordt gebruikt om de IPAdapter te laden, die de sterkte bepaalt van de invloed van de doelafbeelding op de output.

2.3 Toepassen van AnimateDiff voor Bewegingsoverdracht

• De kern van de ComfyUI Vid2Vid dansoverdracht wordt aangedreven door het AnimateDiff Latent Condition Model (LCM). Dit wordt geladen met behulp van de ADE_LoadAnimateDiffModel component in ComfyUI Vid2Vid.
• Extra componenten zoals ADE_AnimateDiffSamplingSettings, ADE_LoopedUniformContextOptions, en ADE_ApplyAnimateDiffModelSimple worden gebruikt om de sampling instellingen, contextopties en het toepassen van het AnimateDiff model respectievelijk te configureren in ComfyUI Vid2Vid.
• De ADE_UseEvolvedSampling component wordt gebruikt om de juiste sampling methode te selecteren voor het AnimateDiff model in ComfyUI Vid2Vid.

2.4 Begeleiden van Output met ControlNet

• ControlNet wordt gebruikt om de vorm en omtrek van het onderwerp in de output animatie te begeleiden en definiëren.
• De ControlNetLoaderAdvanced componenten worden gebruikt om de ControlNet modellen te laden. Deze workflow gebruikt twee ControlNet modellen: QR Code Monster en Lineart.
• De ControlNet Stacker componenten worden gebruikt om de ControlNet outputs te stapelen en combineren met instelbare sterktes in ComfyUI Vid2Vid Transfer.

2.5 Genereren van Output Frames met KSampler

• De KSampler (Efficient) componenten in ComfyUI Vid2Vid zijn verantwoordelijk voor het genereren van de output frames op basis van alle verstrekte configuraties en inputs.
• De hoofd KSampler component verwerkt de videoframes om de animatie preview te creëren. Het neemt het AnimateDiff model, IPAdapter outputs, ControlNet stack en andere instellingen als inputs.
• De tweede KSampler component wordt gebruikt voor het opschalen en ontluisteren van de ComfyUI Vid2Vid output frames.

2.6 Opschalen indien nodig

• De ImageScaleBy component wordt gebruikt om de resolutie van de output frames op te schalen. De ImageUpscaleWithModel component wordt gebruikt om de frames verder op te schalen met behulp van een gekozen upscale model. De workflow staat standaard ingesteld op het uitschakelen van de upscale componenten. Als je het nodig hebt, schakel deze componenten in om een beter resultaat te krijgen.