ToonCrafter | Генеративная мультяшная интерполяция

1. Что такое ToonCrafter?

ToonCrafter — это передовая AI-техника, которая интерполирует между двумя мультяшными изображениями, используя предварительно обученные приоритеты диффузии изображений-видео. Это позволяет ToonCrafter создавать интерполированные видео из двух различных мультяшных изображений, создавая плавный переход между ними. Поддерживается создание видео до 16 кадров с разрешением 512x320 пикселей.

2. Как работает ToonCrafter?

ToonCrafter — это AI-инструмент, предназначенный для создания плавных анимаций из статичных мультяшных изображений, используя передовые AI-техники. Он использует модели латентной диффузии (Latent Diffusion Models, LDMs) для кодирования изображений в сжатое латентное пространство, где добавляется шум, который затем постепенно удаляется в процессе денойзинга. Этот метод генерирует промежуточные кадры между исходными изображениями, создавая плавные анимации​.

Заметной особенностью ToonCrafter является его обучение на исправление мультяшных изображений. Этот процесс адаптирует AI-модель, изначально обученную на живых видео, для понимания и создания мультяшных анимаций. Путем тонкой настройки модели с использованием большого набора данных высококачественных мультяшных видео, ToonCrafter обучается уникальным движениям и стилистическим элементам мультфильмов, таким как преувеличенные движения и простые текстуры​.

ToonCrafter также включает механизм инъекции и распространения деталей. Этот механизм использует декодер на основе двойной ссылки для поддержания визуальной целостности создаваемых кадров. Декодер анализирует и вводит пиксельные детали из входных кадров в новые кадры, обеспечивая согласованность с оригинальными произведениями и предотвращая визуальные артефакты​.

Кроме того, ToonCrafter предлагает возможность создания на основе эскизов, позволяя аниматорам предоставлять эскизы, которые направляют создание промежуточных кадров. Эта функция дает художникам больше контроля над процессом анимации, позволяя им указывать конкретные позы или движения, обеспечивая, чтобы финальная анимация соответствовала их видению​​.

3. Как использовать ComfyUI ToonCrafter

Узел ComfyUI ToonCrafter: Входные параметры

Узел ToonCrafter требует нескольких входных параметров, определяющих поведение и результат процесса интерполяции. Вот подробное объяснение каждого параметра:

• image: Первое входное изображение (тип: IMAGE).
• image2: Второе входное изображение (тип: IMAGE).
• ckpt_name: Имя контрольной точки для использования (тип: STRING, варианты: список доступных контрольных точек).
• prompt: Текстовое описание для направляющей интерполяции (тип: STRING, поддерживает многострочные и динамические подсказки).
• seed: Значение семени для генерации случайных чисел для обеспечения воспроизводимости (тип: INT, по умолчанию: 123).
• eta: Параметр, контролирующий масштаб шума, добавляемого в процессе диффузии. В моделях диффузии шум постепенно уменьшается для создания конечного изображения или кадра. Настройка значения eta определяет, сколько шума вводится на каждом этапе этого процесса. (тип: FLOAT, по умолчанию: 1.0, диапазон: 0.0 до 15.0, шаг: 0.1).
• cfg_scale: Масштаб управления без классификатора (тип: FLOAT, по умолчанию: 7.5, диапазон: 1.0 до 15.0, шаг: 0.5).
• steps: Количество шагов диффузии (тип: INT, по умолчанию: 50, диапазон: 1 до 60, шаг: 1).
• frame_count: Количество кадров для создания (тип: INT, по умолчанию: 10, диапазон: 5 до 30, шаг: 1).
• fps: Кадров в секунду для выходного видео (тип: INT, по умолчанию: 8, диапазон: 1 до 60, шаг: 1).

Узел ComfyUI ToonCrafter: Выходные параметры

Выходной результат узла ToonCrafter — это последовательность интерполированных кадров, которые можно использовать для создания видео. Вот что вы можете ожидать:

• IMAGE: Созданные кадры интерполированного видео. Эти кадры возвращаются в виде тензора и могут быть дополнительно обработаны или сохранены в виде видеофайла.