Blender + ComfyUI | AI рендеринг 3D анимаций

AI рендеринг ваших 3D анимаций: Blender + ComfyUI

Этот инновационный рабочий процесс, разработанный талантливым Mickmumpitz, сочетает в себе Blender и ComfyUI для создания потрясающих 3D анимаций, рендеренных с помощью AI. Мы настоятельно рекомендуем ознакомиться с его каналом на YouTube для получения дополнительного вдохновения.

В следующем разделе мы использовали различные материалы для воспроизведения его подхода. Вот шаги:

Часть 1: Использование Blender для создания 3D анимаций и рендер-проходов

1. Настройка 3D сцены в Blender

• Начните с импорта или моделирования необходимых 3D объектов, таких как персонажи, окружение и реквизит. Расположите эти объекты в сцене, установите камеры и настройте любые необходимые анимации. Удалите существующие материалы, текстуры и освещение, так как ComfyUI создаст их во время процесса рендеринга.

2. Рендеринг прохода глубины

• Проход глубины предоставляет важную информацию о расстоянии для улучшения восприятия глубины, которая будет использована в ComfyUI.
• В Blender перейдите в Свойства слоя просмотра, активируйте Z проход и рендерите изображение. В вкладке Композитинг подключите узел просмотра к выходу глубины. Нормализуйте значения глубины с помощью узла Map Range, чтобы создать черно-белый градиент, представляющий глубину сцены.

3. Рендеринг контурного прохода

• Контурный проход создает линии, определяющие формы и силуэты объектов для использования в ComfyUI.
• В Blender используйте инструмент Freestyle для создания контуров на основе 3D геометрии. Установите цвет на белый и настройте толщину линии. Рендерите изображение и обработайте его в вкладке Композитинг.

4. Рендеринг масочного прохода

• Масочный проход назначает уникальные цвета различным объектам. Обязательно запомните шестнадцатеричные коды этих цветов, так как они будут использоваться для конкретных AI запросов в ComfyUI.
• В Blender назначьте простые эмиссионные шейдеры с разными цветами каждому объекту. Рендерите изображение и сохраните его.

Для подробных инструкций по этим шагам обратитесь к YouTube руководству Mickmumpitz, если вы не знакомы с Blender.

После завершения части 1 вы создадите три типа последовательностей изображений: маски, глубина и контуры. 🌟 Вы можете скачать все наши материалы для экспериментов здесь. Они будут использованы на следующем этапе с ComfyUI.

Часть 2: Использование ComfyUI для рендеринга AI анимаций

Рабочий процесс ComfyUI от Mickmumpitz состоит из нескольких ключевых компонентов:

1. Загрузка последовательностей изображений

• Загрузка масочных последовательностей: Загрузите масочную последовательность и затем используйте узел "региональная настройка по маске цвета" для разделения объектов на масочном изображении. Введите шестнадцатеричный код, полученный на этапе 1, в поле "mask_color". Этот узел автоматически сегментирует объекты на основе назначенных цветов.

🌟 Примечание: Мы используем определенные шестнадцатеричные коды для наших материалов в этом рабочем процессе. Если вы используете другое масочное изображение, убедитесь, что ввели соответствующий шестнадцатеричный код в поле "mask_color". Это гарантирует, что узел "региональная настройка по маске цвета" правильно сегментирует объекты.

• Загрузка последовательностей глубины: Загрузите последовательности глубины, чтобы предоставить информацию о расстоянии объектов в сцене.

• Загрузка контурных последовательностей: Загрузите контурные последовательности, чтобы определить формы и края объектов в сцене.

🌟 Как загрузить последовательности изображений по пути:

1. Организация ваших последовательностей:

   • Поместите ваши масочные последовательности в папку, например, {mask}.
   • Поместите ваши последовательности глубины в отдельную папку, например, {depth}.
   • Поместите ваши контурные последовательности в другую папку, например, {outline}.

2. Загрузка папок:

   • Используйте наш файловый браузер для загрузки этих папок в директорию ComfyUI/input.

3. Путь к директории:

   • Полный путь к директории должен быть: /home/user/ComfyUI/input/{folder_name}.
   • Например: /home/user/ComfyUI/input/{mask}.

2. Использование текстовых запросов для определения визуальных эффектов:

Для масочных последовательностей используйте текстовые запросы для указания желаемых визуальных эффектов для каждого объекта в сцене.

• Главный запрос: Этот запрос задает общий стиль и освещение для всей сцены. Он определяет общее настроение, атмосферу и визуальный тон, который должен быть достигнут в конечном рендеринге.

• Региональные запросы: Эти запросы предоставляют детальные описания для конкретных объектов или областей в сцене. Каждый запрос должен соответствовать отдельному объекту или региону, обеспечивая точное представление каждого элемента так, как он задуман.

• Негативный запрос: Этот запрос перечисляет элементы, которые должны быть исключены из рендеринга. Он помогает предотвратить появление определенных функций или объектов в конечном результате, обеспечивая фокусировку сцены и отсутствие нежелательных деталей.

3. Модуль ControlNet

• Введите последовательности глубины в модель ControlNet Depth.
• Введите контурные последовательности в модель ControlNet Canny.

4. Модуль AnimateDiff

• Используйте этот модуль для рендеринга плавных анимаций из обработанных последовательностей.

5. Опциональное использование IPAdapter

• Используйте IPAdapter для дополнительного руководства по настройке, чтобы улучшить согласованность и качество создаваемых изображений.

Используя точные 3D данные Blender вместе с мощными возможностями синтеза изображений Stable Diffusion через ComfyUI, вы можете создавать невероятно фотореалистичные или стилизованные 3D анимации с полным творческим контролем.