ToonCrafter | Generativní interpolace kreslených obrázků

1. Co je ToonCrafter?

ToonCrafter je pokročilá AI technika, která interpoluje mezi dvěma kreslenými obrázky pomocí předtrénovaných obrazově-video difuzních modelů. To umožňuje ToonCrafteru generovat interpolovaná videa ze dvou odlišných kreslených obrázků, čímž vytváří plynulý přechod mezi nimi. Podporuje generování videí až do 16 snímků s rozlišením 512x320 pixelů.

2. Jak ToonCrafter funguje?

ToonCrafter je AI nástroj navržený k vytvoření plynulých animací ze statických kreslených obrázků pomocí pokročilých AI technik. Používá Latent Diffusion Models (LDMs) k zakódování obrázků do komprimovaného latentního prostoru, kde je přidán šum a postupně odstraňován pomocí denoisačního procesu. Tato metoda generuje mezisnímky mezi původními obrázky, což vede k plynulým animacím.

Významnou funkcí ToonCrafteru je jeho Toon Rectification Learning. Tento proces přizpůsobuje AI model, původně trénovaný na živě-akčních videích, k pochopení a generování kreslených animací. Doladěním modelu s velkým datasetem vysoce kvalitních kreslených videí se ToonCrafter učí jedinečné pohyby a stylistické prvky kreslených filmů, jako jsou přehnané pohyby a jednodušší textury.

ToonCrafter také obsahuje mechanismus Detail Injection and Propagation. Tento mechanismus používá dvou-referenční 3D dekodér k udržení vizuální věrnosti generovaných snímků. Dekodér analyzuje a vkládá pixelové detaily z vstupních snímků do nových snímků, čímž zajišťuje konzistenci s původním dílem a zabraňuje vizuálním artefaktům.

Navíc ToonCrafter nabízí ovladatelné generování na základě náčrtků, což umožňuje animátorům poskytovat náčrtky, které vedou k tvorbě mezisnímků. Tato funkce dává umělcům větší kontrolu nad animačním procesem, umožňuje jim specifikovat konkrétní pozice nebo pohyby a zajišťuje, že konečná animace odpovídá jejich vizi.

3. Jak používat ComfyUI ToonCrafter

ComfyUI ToonCrafter Node: Vstupní parametry

ToonCrafter uzel vyžaduje několik vstupních parametrů, které určují chování a výstup interpolace. Zde je podrobný popis každého parametru:

• image: První vstupní obrázek (typ: IMAGE).
• image2: Druhý vstupní obrázek (typ: IMAGE).
• ckpt_name: Název kontrolního bodu k použití (typ: STRING, možnosti: seznam dostupných kontrolních bodů).
• prompt: Textový popis k vedení interpolace (typ: STRING, podporuje víceřádkové a dynamické prompty).
• seed: Hodnota semene pro generování náhodných čísel k zajištění reprodukovatelnosti (typ: INT, výchozí: 123).
• eta: Tento parametr řídí měřítko šumu přidaného během difuzního procesu. V difuzních modelech se šum postupně snižuje, aby se generoval konečný obraz nebo snímek. Úprava hodnoty eta určuje, kolik šumu se přidává při každé iteraci tohoto procesu. (typ: FLOAT, výchozí: 1.0, rozsah: 0.0 až 15.0, krok: 0.1).
• cfg_scale: Stupnice klasifikátorové volné guidance (typ: FLOAT, výchozí: 7.5, rozsah: 1.0 až 15.0, krok: 0.5).
• steps: Počet difuzních kroků (typ: INT, výchozí: 50, rozsah: 1 až 60, krok: 1).
• frame_count: Počet snímků k vytvoření (typ: INT, výchozí: 10, rozsah: 5 až 30, krok: 1).
• fps: Snímky za sekundu pro výstupní video (typ: INT, výchozí: 8, rozsah: 1 až 60, krok: 1).

ComfyUI ToonCrafter Node: Výstupní parametry

Výstupem ToonCrafter uzlu je sekvence interpolovaných snímků, které lze použít k vytvoření videa. Zde je, co můžete očekávat:

• IMAGE: Generované snímky interpolovaného videa. Tyto snímky jsou vráceny jako tensor a mohou být dále zpracovány nebo uloženy jako video soubor.