ComfyUI  >  Arbetsflöden  >  ToonCrafter | Generativ Tecknad Interpolation

ToonCrafter | Generativ Tecknad Interpolation

Detta ComfyUI ToonCrafter arbetsflöde kan hjälpa dig att generera tecknade interpolationer mellan två tecknade bilder, med stöd för upp till 16 ramar vid en upplösning på 512x320 pixlar.

ComfyUI ToonCrafter Arbetsflöde

ComfyUI ToonCrafter: Generate Cartoon Interpolation
Vill du köra detta arbetsflöde?
  • Fullt operativa arbetsflöden
  • Inga saknade noder eller modeller
  • Inga manuella inställningar krävs
  • Innehåller fantastiska visuella

ComfyUI ToonCrafter Exempel

comfyui-tooncrafter-generate-cartoon-interpolation-1099-example_1.gif
comfyui-tooncrafter-generate-cartoon-interpolation-1099-example_2.gif
comfyui-tooncrafter-generate-cartoon-interpolation-1099-example_5.gif

ComfyUI ToonCrafter Beskrivning

1. Vad är ToonCrafter?

ToonCrafter är en avancerad AI-teknik som interpolerar mellan två tecknade bilder med hjälp av förtränade bild-till-video diffusion priors. Detta gör att ToonCrafter kan generera interpolerade videor från två distinkta tecknade bilder, vilket skapar en sömlös övergång mellan dem. Den stöder videogenerering med upp till 16 ramar med en upplösning på 512x320 pixlar.

2. Hur fungerar ToonCrafter?

ToonCrafter är ett AI-verktyg designat för att skapa smidiga animationer från statiska tecknade bilder med hjälp av avancerade AI-tekniker. Det använder Latent Diffusion Models (LDMs) för att koda bilder till ett komprimerat latent utrymme, där brus läggs till och sedan successivt tas bort genom en avbrusningsprocess. Denna metod genererar mellanliggande ramar mellan de ursprungliga bilderna, vilket resulterar i flytande animationer​.

En anmärkningsvärd funktion i ToonCrafter är dess Toon Rectification Learning. Denna process anpassar AI-modellen, ursprungligen tränad på live-action videor, för att förstå och generera tecknade animationer. Genom att finjustera modellen med en stor datamängd av högkvalitativa tecknade videor, lär sig ToonCrafter de unika rörelserna och stilistiska elementen i tecknade filmer, såsom överdrivna rörelser och enklare texturer​.

ToonCrafter innehåller också en Detail Injection and Propagation mekanism. Detta använder en dual-referensbaserad 3D-dekoder för att bibehålla den visuella kvaliteten på de genererade ramarna. Dekodern analyserar och injicerar pixelnivådetaljer från inmatningsramarna till de nya ramarna, vilket säkerställer konsistens med den ursprungliga konsten och förhindrar visuella artefakter​.

Dessutom erbjuder ToonCrafter skissbaserad kontrollerbar generering, vilket gör det möjligt för animatörer att tillhandahålla skisser som styr skapandet av mellanliggande ramar. Denna funktion ger konstnärer mer kontroll över animationsprocessen, vilket gör det möjligt för dem att specificera särskilda poser eller rörelser och säkerställa att den slutliga animationen stämmer överens med deras vision​​.

3. Hur man använder ComfyUI ToonCrafter

ComfyUI ToonCrafter Node

ComfyUI ToonCrafter Node: Inmatningsparametrar

ToonCrafter-noden kräver flera inmatningsparametrar som bestämmer beteendet och resultatet av interpolationsprocessen. Här är en detaljerad förklaring av varje parameter:

  • image: Den första inmatningsbilden (typ: IMAGE).
  • image2: Den andra inmatningsbilden (typ: IMAGE).
  • ckpt_name: Namnet på den kontrollpunkt som ska användas (typ: STRING, alternativ: lista över tillgängliga kontrollpunkter).
  • prompt: En textbeskrivning som styr interpolationen (typ: STRING, stöder flerradiga och dynamiska prompt).
  • seed: Ett frövärde för slumpmässig talgenerering för att säkerställa reproducerbarhet (typ: INT, standard: 123).
  • eta: Parametern kontrollerar skalan av bruset som läggs till under diffusionsprocessen. I diffusionsmodeller reduceras brus gradvis för att generera den slutliga bilden eller ramen. Justering av eta-värdet bestämmer hur mycket brus som introduceras vid varje iteration av denna process. (typ: FLOAT, standard: 1.0, intervall: 0.0 till 15.0, steg: 0.1).
  • cfg_scale: Skalan för klassificeringsfri vägledning (typ: FLOAT, standard: 7.5, intervall: 1.0 till 15.0, steg: 0.5).
  • steps: Antalet diffusionssteg (typ: INT, standard: 50, intervall: 1 till 60, steg: 1).
  • frame_count: Antalet ramar som ska genereras (typ: INT, standard: 10, intervall: 5 till 30, steg: 1).
  • fps: Bilder per sekund för utgångsvideon (typ: INT, standard: 8, intervall: 1 till 60, steg: 1).

ComfyUI ToonCrafter Node: Utgångsparametrar

Utgången från ToonCrafter-noden är en sekvens av interpolerade ramar, som kan användas för att skapa en video. Här är vad du kan förvänta dig:

  • IMAGE: De genererade ramarna av den interpolerade videon. Dessa ramar returneras som en tensor och kan vidare bearbetas eller sparas som en videofil.

Vill du ha fler ComfyUI arbetsflöden?

RunComfy

© Copyright 2024 RunComfy. Alla Rättigheter Förbehållna.

RunComfy är den främsta ComfyUI plattform, som erbjuder ComfyUI online miljö och tjänster, tillsammans med ComfyUI arbetsflöden med fantastiska visuella.