Vid2Vid Del 1 | Komposisjon og Maskering

ComfyUI Vid2Vid arbeidsflyt, opprettet av YVANN, introduserer to distinkte arbeidsflyter for å oppnå høykvalitets, profesjonelle animasjoner.

• Den første ComfyUI arbeidsflyten: ComfyUI Vid2Vid Del 1 | Komposisjon og Maskering
• Den andre arbeidsflyten: ComfyUI Vid2Vid Del 2 | SDXL Style Transfer

ComfyUI Vid2Vid Del 1 | Komposisjon og Maskering

Denne arbeidsflyten forbedrer kreativiteten ved å fokusere på komposisjon og maskering av din originale video.

Steg 1: Modeller Laster | ComfyUI Vid2Vid Arbeidsflyt Del 1

Velg de passende modellene for animasjonen din. Dette inkluderer å velge sjekkpunktmodellen, VAE (Variational Autoencoder) modell, og LoRA (Low-Rank Adaptation) modell. Disse modellene er avgjørende for å definere kapasitetene og stilen til animasjonen din.

Steg 2: Video Laster | ComfyUI Vid2Vid Arbeidsflyt Del 1

Input Video noden er ansvarlig for å importere videofilen som skal brukes til animasjonen. Noden leser videoen og konverterer den til individuelle rammer, som deretter behandles i påfølgende steg. Dette tillater detaljert redigering og forbedring ramme for ramme.

Steg 3: Fjern Bakgrunn (Auto Maskering) | ComfyUI Vid2Vid Arbeidsflyt Del 1

Fjern Bakgrunn (Auto Maskering) isolerer subjektet fra bakgrunnen ved å bruke en automatisert maskeringsteknikk. Dette innebærer modeller som oppdager og separerer forgrunnssubjektet fra bakgrunnen, og skaper en binær maske. Dette steget er avgjørende for å sikre at subjektet kan manipuleres uavhengig av bakgrunnen.

Steg 4: Maskering av Spesifikt Område (Manuell Maske eller Auto Maske) | ComfyUI Vid2Vid Arbeidsflyt Del 1

Dette steget tillater raffinering av masken opprettet i forrige steg. Du kan enten manuelt maskere spesifikke områder ved å bruke annen programvare eller stole på ComfyUI's 'Segment Anything' automatiserte maskefunksjon.

• Manuell Maske: Dette må håndteres av annen programvare utenfor ComfyUI for presis kontroll.
• Auto Maske: Ved å bruke auto maskefunksjonen kan du beskrive hva du vil maskere ved å bruke enkle ord i prompt-widgeten. Modellen vil opprette en maske automatisk, selv om den kanskje ikke er like nøyaktig som en manuell maske.

Standardversjonen bruker en manuell maske. Hvis du vil prøve den automatiske, vennligst omgå den manuelle maskegruppen og aktiver den automatiske maskegruppen. I tillegg, koble MASK fra 'GroundingDinoSAM' (auto maske) til 'GrowMaskWithBlur' i stedet for å koble 'ImageToMask' (manuell maske) til 'GrowMaskWithBlur'.

Steg 5: Transformér Maske | ComfyUI Vid2Vid Arbeidsflyt Del 1

Transformér Maske konverterer masken til et bilde og tillater ytterligere justeringer som å legge til uskarphet til den originale masken. Dette hjelper med å mykne kantene og få masken til å blande seg mer naturlig med resten av bildet.

Steg 6: Input Prompt | ComfyUI Vid2Vid Arbeidsflyt Del 1

Input tekstuelle prompt for å veilede animasjonsprosessen. Prompten kan beskrive ønsket stil, utseende eller handlinger til subjektet. Det er avgjørende for å definere den kreative retningen for animasjonen og sikre at det endelige resultatet matcher den forestilte kunstneriske stilen.

Steg 7: AnimateDiff | ComfyUI Vid2Vid Arbeidsflyt Del 1

AnimateDiff noden skaper jevne animasjoner ved å identifisere forskjeller mellom påfølgende rammer og anvende disse endringene inkrementelt. Dette hjelper med å bevare bevegelsessammenheng og redusere brå endringer i animasjonen, noe som fører til et mer flytende og naturlig utseende.

Steg 8: IPAdapter | ComfyUI Vid2Vid Arbeidsflyt Del 1

IPAdapter noden tilpasser input-bildene for å samsvare med de ønskede utgangsstilene eller funksjonene. Dette inkluderer oppgaver som fargelegging og stiloverføring, og sikrer at hver ramme av animasjonen opprettholder et konsistent utseende og følelse.

Steg 9: ControlNet | ComfyUI Vid2Vid Arbeidsflyt Del 1

Ved å bruke ControlNet - v1.1 - Instruct Pix2Pix Versjonsmodell forbedres diffusjonsmodeller ved å gjøre det mulig for dem å behandle tilleggskondisjoner (f.eks. kantkart, segmenteringskart). Det legger til rette for tekst-til-bilde-generering ved å kontrollere disse forhåndstrente modellene med oppgavespesifikke betingelser på en ende-til-ende måte, noe som muliggjør robust læring selv med mindre datasett.

Steg 10: Render | ComfyUI Vid2Vid Arbeidsflyt Del 1

I Render steget blir de behandlede rammene samlet til en endelig video. Dette steget sikrer at alle individuelle rammer kombineres sømløst til en sammenhengende animasjon, klar for eksport og videre bruk.

Steg 11: Komponer Bakgrunn | ComfyUI Vid2Vid Arbeidsflyt Del 1

Dette innebærer å sammensette det animerte subjektet med bakgrunnen. Du kan legge til en statisk eller dynamisk bakgrunn til animasjonen, og sikre at subjektet integreres jevnt med den nye bakgrunnen for å skape et visuelt tiltalende sluttprodukt.

Ved å bruke ComfyUI Vid2Vid arbeidsflyt Del 1, kan du lage intrikate animasjoner med presis kontroll over alle aspekter av prosessen, fra komposisjon og maskering til endelig rendering.