Z-Depth Maps | Анимации в стиле Houdini

Вы когда-нибудь хотели создавать потрясающие анимации в стиле Houdini, но вас пугала сложность 3D-программного обеспечения? Больше не нужно искать! Этот инновационный рабочий процесс ComfyUI проведет вас через процесс применения манипуляций с глубиной (Z-Depth) и создания захватывающих анимаций, используя только 2D-изображения.

Независимо от того, являетесь ли вы художником, дизайнером или энтузиастом, вы сможете создавать потрясающие анимации, которые выглядят и ощущаются так, как будто они созданы с использованием продвинутых 3D-техник, работая с простотой и лёгкостью 2D-изображений в ComfyUI.

Шаг 1: Создание начального изображения

Для начала вам нужно создать начальное изображение, которое будет служить основой для вашей анимации. Как только у вас будет изображение, уменьшите его до меньшего размера, например, до 1 мегапикселя, чтобы размер файла оставался управляемым.

Шаг 2: Создание маски анимации из одного изображения

На этом этапе вы преобразуете одно изображение в анимацию маски. Начните с создания видео из одного изображения, повторяя его нужное количество кадров, например, 32. Чтобы изолировать ваш объект, удалите фон, используя модель удаления фона, такую как InSPyR-Net. После удаления фона слегка сузьте получившуюся маску на несколько пикселей, чтобы она хорошо работала с процессом манипуляции глубиной.

Затем извлеките информацию о глубине из одного кадра и подключите её к контроллеру глубины. Повторите изображение глубины столько же раз, сколько и ваше видео. Передайте повторяющиеся кадры глубины в узлы Time Feature и Flex Mask Depth Chamber. Узел Time Feature будет направлять анимацию через время с фиксированной частотой кадров. Установите время эффекта на "smooth" и выберите низкое значение скорости, например, 0.1.

Временные особенности будут контролировать разрезание вашего объекта вдоль оси глубины Z. Отрегулируйте начальное положение передних и задних плоскостей Z, чтобы начать действие в середине вашего объекта. Перемещайте обе плоскости, используя параметр "feature" с движением "squeeze", чтобы создать желаемый эффект разрезания. Для улучшения эффекта диффузии и обеспечения более плавных переходов добавьте небольшое количество размытия, используя настройку "grow with blur".

К концу этого этапа вы преобразуете одно изображение в анимацию маски, готовую к процессу манипуляции глубиной и разрезанию. Эта анимация маски будет служить основой для создания эффекта в стиле Houdini в последующих шагах рабочего процесса.

Шаг 3: Генерация анимации

На этом этапе вы оживите свою анимацию, создавая кадры с использованием подготовленной анимации маски и информации о глубине. Начните с загрузки контрольной точки, такой как контрольная точка 1.5 для AnimateDiff, а также любых желаемых LoRA для улучшения качества и стиля ваших сгенерированных кадров.

Настройте простой шаг кондиционирования с положительным запросом, описывающим часть результирующей маски, которая будет разрезана. Этот запрос будет направлять процесс генерации и помогать поддерживать согласованность на протяжении всей анимации. Примените ControlNet глубины на основе исходной глубины вашего объекта, чтобы сгенерированные кадры сохраняли желаемые характеристики глубины.

Если у вас есть большие области, требующие доработки, вы можете опционально включить группу IP Adapter для более эффективной обработки этих областей. Выполните вывод с использованием Differential Diffusion и установите маску латентного шума. Закодируйте 32 кадра вашего исходного изображения и манипулируйте латентным пространством с шумом для каждого кадра, но только в соответствующей белой области, которая была разрезана.

Для дальнейшего улучшения плавности и текучести вашей анимации пропустите полученные кадры через узел RIFE (Real-Time Intermediate Flow Estimation) для интерполяции кадров. Этот процесс удвоит количество кадров, эффективно делая ваше видео длиннее и плавнее. Интерполируя между сгенерированными кадрами, RIFE помогает создать более бесшовную и визуально привлекательную анимацию.

К концу этого этапа вы создадите полную анимацию на основе вашего исходного изображения, информации о глубине и анимации маски.

Шаг 4: Смешивание разных анимаций (по желанию)

Если вы хотите вывести свою анимацию на следующий уровень, вы можете создать две разные анимации, такие как огонь и лёд, используя тот же процесс, что и ранее, но с разными запросами и повторной настройкой глубины. Разделите интервал изображения на пять секций. Возьмите первые 25% одной анимации и оставшиеся 25% (с 75% до 100%) другой анимации в качестве начальных и конечных точек. Смешайте средние точки (с 25% до 40%, с 40% до 60%, с 60% до 75%) обеих анимаций так, чтобы результирующая смесь начиналась больше как первая анимация и постепенно становилась больше похожей на вторую анимацию.