ToonCrafter | Generativ Tecknad Interpolation

1. Vad är ToonCrafter?

ToonCrafter är en avancerad AI-teknik som interpolerar mellan två tecknade bilder med hjälp av förtränade bild-till-video diffusion priors. Detta gör att ToonCrafter kan generera interpolerade videor från två distinkta tecknade bilder, vilket skapar en sömlös övergång mellan dem. Den stöder videogenerering med upp till 16 ramar med en upplösning på 512x320 pixlar.

2. Hur fungerar ToonCrafter?

ToonCrafter är ett AI-verktyg designat för att skapa smidiga animationer från statiska tecknade bilder med hjälp av avancerade AI-tekniker. Det använder Latent Diffusion Models (LDMs) för att koda bilder till ett komprimerat latent utrymme, där brus läggs till och sedan successivt tas bort genom en avbrusningsprocess. Denna metod genererar mellanliggande ramar mellan de ursprungliga bilderna, vilket resulterar i flytande animationer​.

En anmärkningsvärd funktion i ToonCrafter är dess Toon Rectification Learning. Denna process anpassar AI-modellen, ursprungligen tränad på live-action videor, för att förstå och generera tecknade animationer. Genom att finjustera modellen med en stor datamängd av högkvalitativa tecknade videor, lär sig ToonCrafter de unika rörelserna och stilistiska elementen i tecknade filmer, såsom överdrivna rörelser och enklare texturer​.

ToonCrafter innehåller också en Detail Injection and Propagation mekanism. Detta använder en dual-referensbaserad 3D-dekoder för att bibehålla den visuella kvaliteten på de genererade ramarna. Dekodern analyserar och injicerar pixelnivådetaljer från inmatningsramarna till de nya ramarna, vilket säkerställer konsistens med den ursprungliga konsten och förhindrar visuella artefakter​.

Dessutom erbjuder ToonCrafter skissbaserad kontrollerbar generering, vilket gör det möjligt för animatörer att tillhandahålla skisser som styr skapandet av mellanliggande ramar. Denna funktion ger konstnärer mer kontroll över animationsprocessen, vilket gör det möjligt för dem att specificera särskilda poser eller rörelser och säkerställa att den slutliga animationen stämmer överens med deras vision​​.

3. Hur man använder ComfyUI ToonCrafter

ComfyUI ToonCrafter Node: Inmatningsparametrar

ToonCrafter-noden kräver flera inmatningsparametrar som bestämmer beteendet och resultatet av interpolationsprocessen. Här är en detaljerad förklaring av varje parameter:

• image: Den första inmatningsbilden (typ: IMAGE).
• image2: Den andra inmatningsbilden (typ: IMAGE).
• ckpt_name: Namnet på den kontrollpunkt som ska användas (typ: STRING, alternativ: lista över tillgängliga kontrollpunkter).
• prompt: En textbeskrivning som styr interpolationen (typ: STRING, stöder flerradiga och dynamiska prompt).
• seed: Ett frövärde för slumpmässig talgenerering för att säkerställa reproducerbarhet (typ: INT, standard: 123).
• eta: Parametern kontrollerar skalan av bruset som läggs till under diffusionsprocessen. I diffusionsmodeller reduceras brus gradvis för att generera den slutliga bilden eller ramen. Justering av eta-värdet bestämmer hur mycket brus som introduceras vid varje iteration av denna process. (typ: FLOAT, standard: 1.0, intervall: 0.0 till 15.0, steg: 0.1).
• cfg_scale: Skalan för klassificeringsfri vägledning (typ: FLOAT, standard: 7.5, intervall: 1.0 till 15.0, steg: 0.5).
• steps: Antalet diffusionssteg (typ: INT, standard: 50, intervall: 1 till 60, steg: 1).
• frame_count: Antalet ramar som ska genereras (typ: INT, standard: 10, intervall: 5 till 30, steg: 1).
• fps: Bilder per sekund för utgångsvideon (typ: INT, standard: 8, intervall: 1 till 60, steg: 1).

ComfyUI ToonCrafter Node: Utgångsparametrar

Utgången från ToonCrafter-noden är en sekvens av interpolerade ramar, som kan användas för att skapa en video. Här är vad du kan förvänta dig:

• IMAGE: De genererade ramarna av den interpolerade videon. Dessa ramar returneras som en tensor och kan vidare bearbetas eller sparas som en videofil.