ToonCrafter | Interpolation Générative de Dessins Animés

1. Qu'est-ce que ToonCrafter?

ToonCrafter est une technique avancée d'IA qui interpole entre deux images de dessins animés en utilisant des priors de diffusion d'images à vidéo pré-entraînés. Cela permet à ToonCrafter de générer des vidéos interpolées à partir de deux images de dessins animés distinctes, créant une transition fluide entre elles. Il prend en charge la génération de vidéos jusqu'à 16 images avec une résolution de 512x320 pixels.

2. Comment fonctionne ToonCrafter?

ToonCrafter est un outil d'IA conçu pour créer des animations fluides à partir d'images de dessins animés statiques en utilisant des techniques d'IA avancées. Il utilise des Modèles de Diffusion Latente (LDMs) pour encoder les images dans un espace latent compressé, où du bruit est ajouté puis progressivement supprimé grâce à un processus de débruitage. Cette méthode génère des images intermédiaires entre les images originales, résultant en des animations fluides​.

Une caractéristique notable de ToonCrafter est son Apprentissage de Rectification des Dessins Animés. Ce processus adapte le modèle d'IA, initialement entraîné sur des vidéos en direct, pour comprendre et générer des animations de dessins animés. En affinant le modèle avec un grand ensemble de données de vidéos de dessins animés de haute qualité, ToonCrafter apprend les mouvements uniques et les éléments stylistiques des dessins animés, tels que les mouvements exagérés et les textures plus simples​.

ToonCrafter intègre également un mécanisme d'Injection et de Propagation de Détails. Cela utilise un décodeur 3D basé sur une double référence pour maintenir la fidélité visuelle des images générées. Le décodeur analyse et injecte des détails au niveau des pixels des images d'entrée dans les nouvelles images, assurant une cohérence avec l'œuvre originale et prévenant les artefacts visuels​.

De plus, ToonCrafter offre une génération contrôlable basée sur des croquis, permettant aux animateurs de fournir des croquis qui guident la création des images intermédiaires. Cette fonctionnalité donne aux artistes plus de contrôle sur le processus d'animation, leur permettant de spécifier des poses ou des mouvements particuliers et de s'assurer que l'animation finale correspond à leur vision​​.

3. Comment utiliser ComfyUI ToonCrafter

ComfyUI ToonCrafter Node: Paramètres d'Entrée

Le nœud ToonCrafter nécessite plusieurs paramètres d'entrée qui déterminent le comportement et le résultat du processus d'interpolation. Voici une explication détaillée de chaque paramètre:

• image: La première image d'entrée (type: IMAGE).
• image2: La deuxième image d'entrée (type: IMAGE).
• ckpt_name: Le nom du point de contrôle à utiliser (type: STRING, options: liste des points de contrôle disponibles).
• prompt: Une description textuelle pour guider l'interpolation (type: STRING, prend en charge les invites multiligne et dynamiques).
• seed: Une valeur de graine pour la génération de nombres aléatoires afin d'assurer la reproductibilité (type: INT, par défaut: 123).
• eta: Le paramètre contrôle l'échelle du bruit ajouté pendant le processus de diffusion. Dans les modèles de diffusion, le bruit est progressivement réduit pour générer l'image ou l'image finale. L'ajustement de la valeur eta détermine la quantité de bruit introduite à chaque itération de ce processus. (type: FLOAT, par défaut: 1.0, plage: 0.0 à 15.0, pas: 0.1).
• cfg_scale: L'échelle de guidage sans classificateur (type: FLOAT, par défaut: 7.5, plage: 1.0 à 15.0, pas: 0.5).
• steps: Nombre d'étapes de diffusion (type: INT, par défaut: 50, plage: 1 à 60, pas: 1).
• frame_count: Le nombre d'images à générer (type: INT, par défaut: 10, plage: 5 à 30, pas: 1).
• fps: Images par seconde pour la vidéo de sortie (type: INT, par défaut: 8, plage: 1 à 60, pas: 1).

ComfyUI ToonCrafter Node: Paramètres de Sortie

La sortie du nœud ToonCrafter est une séquence d'images interpolées, qui peut être utilisée pour créer une vidéo. Voici ce à quoi vous pouvez vous attendre:

• IMAGE: Les images générées de la vidéo interpolée. Ces images sont retournées sous forme de tenseur et peuvent être traitées ou sauvegardées en tant que fichier vidéo.