IC-Light | Перезаписка видео | AnimateDiff

Рабочий процесс ComfyUI IC-Light для перезаписки видео

Раскройте весь потенциал ваших видеопроектов с помощью рабочего процесса ComfyUI IC-Light, специально разработанного для улучшения освещения в ваших видео с персонажами "Human" с использованием карты освещения. С ComfyUI IC-Light вы можете легко преобразовать ваши видео, просто предоставив ваши подсказки и элементы карты освещения, такие как формы и неоновые огни. Инструмент создаст новое видео с значительно улучшенным освещением.

КАК ИСПОЛЬЗОВАТЬ рабочий процесс ComfyUI IC-Light

1. Загрузите исходное видео: Начните с загрузки видео, которое вы хотите улучшить.
2. Загрузите видео с картой освещения или одно изображение карты освещения: Выберите видео с картой освещения или одно изображение, чтобы служить вашим новым шаблоном освещения.
3. Введите Load Cap и другие настройки, те же настройки должны быть в видео с картой освещения.
4. Введите подсказки, которые описывают ваши новые настройки освещения, такие как солнечный свет или неоновые огни.
5. Выберите вашу модель. Предпочтительна реалистичная модель.
6. Измените композицию карты освещения и другие настройки при необходимости.
7. Нажмите рендер.

Выходы будут сохранены в ComfyUI > Outputs

Inputs_1 - Настройки

Здесь у нас есть 5 настроек:

• Шаги Самплера: Определяет общее количество шагов, которые KSampler берет для рендеринга изображения. Не следует изменять. [Значение по умолчанию 26]
• Усилитель деталей: Увеличивает мельчайшие детали в финальном рендере. [Используйте значение от 0.1 до 1]
• Seed: Управляет генерацией Seed для каждого KSamplers.
• Самплер CFG: Управляет значениями CFG для KSamplers.
• Refiner Upscale: Работает как значение Highres Fix. [Используйте от 1.1 до 1.6 для лучших результатов]

Подсказки

• Положительная подсказка: Введите подсказки, которые лучше всего описывают ваше изображение с новым освещением.
• Отрицательные подсказки: Настроены для достижения лучших результатов. Чувствуйте себя свободно редактировать их.
• Узлы кодирования текста Clip: Помогает в кодировании текста для максимального качества. Оставьте на "full"

Модели и Лорас

• Контрольная точка: Выберите любую realistic SD 1.5 модель для точных результатов. Чувствуйте себя свободно выбирать любую SD 1.5 модель для стилистических результатов.
• Лорас: [Необязательно] Выберите любую лорас из предложенного списка, если желаете. Не используйте их на полной мощности. Используйте около 0.5-0.7 для лучшего эффекта

Исходное видео

• Загрузите исходное видео: Здесь вы нажимаете и загружаете ваше видео с персонажем Human, освещение которого хотите изменить.
  • Должно быть менее 100 МБ, Comfy не сможет загрузить большой размер.
  • Должно быть не более 15-20 секунд. Может не удастся рендерить более длинные видео
  • Должно быть в 720p или ниже
  • Используйте узлы Skip Frames, если вам нужно пропустить некоторые начальные кадры. [Видео с картой освещения также пропустит столько же кадров]
• Ограничитель размера изображения: Здесь вы ограничиваете разрешение рендеринга, будь то ландшафт или портрет, максимальное разрешение всегда будет равно или меньше установленного значения.
  • Используйте значение от 800 до 1200 для лучших результатов. [Это повлияет на Vram]

Важно: Используйте Frames Load Cap 10 для тестирования сначала

• Используйте около 200 - 300 кадров при размере 1000 – 1200, если у вас 24 ГБ.
• Используйте 0, если хотите рендерить все кадры. [Не рекомендуется для более длинных видео]

Настройки маски и глубины

• Маска: Использует Robust Video Matting, настройки по умолчанию подходят.
• Depth ControlNet: Использует последние модели DepthAnything v2.
  • Сила и конечный процент установлены на 75%, чтобы обеспечить оптимальные результаты
  • Используйте Co для лучших результатов.

Карта освещения

• Загрузите карту освещения: Нажмите и загрузите видео с картой освещения, которое вы хотите.
  • Оно автоматически масштабируется до размеров исходного видео
  • Убедитесь, что оно длиннее или равно размерам исходного видео, иначе будет ошибка.
• Light Map ControlNet: Эта карта освещения также используется как Light controlnet, используя
• Сила CN и конечный процент: Используйте низкие значения здесь, высокие значения могут вызвать переэкспозицию или резкий переход света.

Одиночная карта освещения

• Чтобы использовать одно изображение в качестве карты освещения, включите эти узлы и подключите узел перенаправления к узлу "Pick one Input".

AnimateDiff

• Загрузите модель Animatediff: Вы можете использовать любую модель для разных эффектов.
• Другие узлы Animatediff: Вам нужно иметь некоторое знание о animatediff для изменения других настроек [Вы можете найти их ]
• Настройки SMZ: Этот узел для повышения качества модельного pipeline, все настройки предопределены для хорошей работы.

Композиция карты освещения и IC кондиционирование

• Верхние узлы регулировки (серого цвета) предназначены для управления кондиционированием IC-Light, чтобы сделать его менее контрастным и контролировать яркость.
• Генерация нового фона: Когда отключено, будет использоваться оригинальный вход изображения и пытаться сопоставить детали, аналогичные фону исходного видео в соответствии с "Background Prompts", если они присутствуют в поле положительной подсказки

[1girl, sunlight, sunset, white shirt, black short jeans, interior, room]

• Когда генерация нового фона включена: Будет сгенерирован новый фон с учетом глубины

[1girl, sunlight, sunset, nature in the background, sky]

Также сила Depth ControlNet и конечный процент были уменьшены до 45%, чтобы иметь открытую область на заднем плане.

• Карта освещения сверху: Когда True, карта освещения будет сверху исходного видео и более доминирующей, когда False исходное видео будет сверху, более доминирующим и ярким
• Область воздействия на объект: 2 режима смешивания работают лучше всего
  • Multiply: Затемняет теневые области в соответствии с картой освещения сверху или снизу
  • Screen: Осветляет теневые области в соответствии с картой освещения сверху или снизу
  • Коэффициент смешивания для интенсивности.

• Общие настройки: Это контролирует яркость, контраст, гамму, оттенок финального обработанного изображения карты освещения сверху.
• Перекарта изображения: Используйте этот узел для управления общей глобальной яркостью и затемнением всего изображения.
  • Более высокое минимальное значение осветлит сцену
  • Более низкие максимальные значения затемнят сцену и могут превратить яркие области в морфинговые объекты, такие как QrCode Monster CN
  • В основном используйте минимальное значение 0.1 или 0.2, чтобы немного осветлить сцену.
  • Минимальное значение 0 будет иметь абсолютно черную тень для черных пикселей карты освещения.

KSamplers (Raw и Refine)

IC Raw Ksampler: В отличие от любого другого самплера, он начинает с шага 8 вместо нуля, из-за IC-Light Condition (Кадры шумоподавляются с 8-го шага)

• Например, конечный шаг 20
• Начальный шаг
  • 0 не будет иметь эффекта карты освещения.
  • 5 будет иметь 50 процентов эффекта
  • 10 будет иметь 100 процентов эффекта.
  • Так что около 3-8 хорошее значение для тестирования.

Когда генерация нового фона включена, можно опускаться ниже 5 для лучших результатов

• Ksampler Refine: Работает как Img2Img Refiner после IC raw sampler.

Для конечного шага 25

• Начальный шаг
  • 10 и ниже будут работать как raw sampler и дадут вам морфинговые объекты
  • 15 будет работать как правильный рафинировщик
  • 20 не будет работать правильно
  • Выше 20 и выше будут давать испорченные результаты
  • Так что по умолчанию 16 хорошо.

Исправление лица

• Масштабирование для исправления лица: Если ваши лица не удовлетворяют после исправления лица, вы можете увеличить масштаб до около 1.2 до 1.6 для улучшения лиц.
• Положительная подсказка: Здесь вы можете написать подсказки для лица. По умолчанию установлено "улыбающееся". Вы можете изменить это.
• Уровень шумоподавления лица: Используйте около 0.35 – 0.45. На более высоких значениях лицо может рендериться неправильно и также могут возникнуть проблемы с движущимися лицами.

Сохранение

• Комбинирование видео: Это экспортирует все кадры в видеоформате. Если этот узел не удается при комбинировании, это означает, что слишком много кадров, и он выходит за пределы оперативной памяти. Уменьшите нагрузку на кадры, если это произойдет
  • Сохранится в ComfyUI > Outputs по умолчанию.
• Изменить путь вывода: Включите этот узел, если хотите сохранить вывод в пользовательское место сохранения

Об авторе этого рабочего процесса

Джерри Давос

• YouTube канал: https://www.youtube.com/@jerrydavos
• Patreon: https://www.patreon.com/jerrydavos

Контакты

• Email: davos.jerry@gmail.com
• Discord: https://discord.gg/z9rgJyfPWJ