IC-Light | Перезаписка видео | AnimateDiff
С рабочим процессом ComfyUI IC-Light вы можете легко пересветить ваши видео с персонажами, используя карту освещения. Включив ваши подсказки и элементы, такие как формы и неоновые огни в ваши карты освещения, этот инструмент регенерирует ваше видео с улучшенным освещением.ComfyUI IC-Light for Video Рабочий процесс

- Полностью функциональные рабочие процессы
- Нет недостающих узлов или моделей
- Не требуется ручная настройка
- Отличается потрясающей визуализацией
ComfyUI IC-Light for Video Примеры
ComfyUI IC-Light for Video Описание
Рабочий процесс ComfyUI IC-Light для перезаписки видео
Раскройте весь потенциал ваших видеопроектов с помощью рабочего процесса ComfyUI IC-Light, специально разработанного для улучшения освещения в ваших видео с персонажами "Human" с использованием карты освещения. С ComfyUI IC-Light вы можете легко преобразовать ваши видео, просто предоставив ваши подсказки и элементы карты освещения, такие как формы и неоновые огни. Инструмент создаст новое видео с значительно улучшенным освещением.
КАК ИСПОЛЬЗОВАТЬ рабочий процесс ComfyUI IC-Light
- Загрузите исходное видео: Начните с загрузки видео, которое вы хотите улучшить.
- Загрузите видео с картой освещения или одно изображение карты освещения: Выберите видео с картой освещения или одно изображение, чтобы служить вашим новым шаблоном освещения.
- Введите Load Cap и другие настройки, те же настройки должны быть в видео с картой освещения.
- Введите подсказки, которые описывают ваши новые настройки освещения, такие как солнечный свет или неоновые огни.
- Выберите вашу модель. Предпочтительна реалистичная модель.
- Измените композицию карты освещения и другие настройки при необходимости.
- Нажмите рендер.
Выходы будут сохранены в ComfyUI > Outputs
Inputs_1 - Настройки

Здесь у нас есть 5 настроек:
- Шаги Самплера: Определяет общее количество шагов, которые KSampler берет для рендеринга изображения. Не следует изменять. [Значение по умолчанию 26]
- Усилитель деталей: Увеличивает мельчайшие детали в финальном рендере. [Используйте значение от 0.1 до 1]
- Seed: Управляет генерацией Seed для каждого KSamplers.
- Самплер CFG: Управляет значениями CFG для KSamplers.
- Refiner Upscale: Работает как значение Highres Fix. [Используйте от 1.1 до 1.6 для лучших результатов]
Подсказки

- Положительная подсказка: Введите подсказки, которые лучше всего описывают ваше изображение с новым освещением.
- Отрицательные подсказки: Настроены для достижения лучших результатов. Чувствуйте себя свободно редактировать их.
- Узлы кодирования текста Clip: Помогает в кодировании текста для максимального качества. Оставьте на "full"
Модели и Лорас

- Контрольная точка: Выберите любую realistic SD 1.5 модель для точных результатов. Чувствуйте себя свободно выбирать любую SD 1.5 модель для стилистических результатов.
- Лорас: [Необязательно] Выберите любую лорас из предложенного списка, если желаете. Не используйте их на полной мощности. Используйте около 0.5-0.7 для лучшего эффекта
Исходное видео

- Загрузите исходное видео: Здесь вы нажимаете и загружаете ваше видео с персонажем Human, освещение которого хотите изменить.
- Должно быть менее 100 МБ, Comfy не сможет загрузить большой размер.
- Должно быть не более 15-20 секунд. Может не удастся рендерить более длинные видео
- Должно быть в 720p или ниже
- Используйте узлы Skip Frames, если вам нужно пропустить некоторые начальные кадры. [Видео с картой освещения также пропустит столько же кадров]
- Ограничитель размера изображения: Здесь вы ограничиваете разрешение рендеринга, будь то ландшафт или портрет, максимальное разрешение всегда будет равно или меньше установленного значения.
- Используйте значение от 800 до 1200 для лучших результатов. [Это повлияет на Vram]

Важно: Используйте Frames Load Cap 10 для тестирования сначала
- Используйте около 200 - 300 кадров при размере 1000 – 1200, если у вас 24 ГБ.
- Используйте 0, если хотите рендерить все кадры. [Не рекомендуется для более длинных видео]
Настройки маски и глубины

- Маска: Использует Robust Video Matting, настройки по умолчанию подходят.
- Depth ControlNet: Использует последние модели DepthAnything v2.
- Сила и конечный процент установлены на 75%, чтобы обеспечить оптимальные результаты
- Используйте Co для лучших результатов.
Карта освещения

- Загрузите карту освещения: Нажмите и загрузите видео с картой освещения, которое вы хотите.
- Оно автоматически масштабируется до размеров исходного видео
- Убедитесь, что оно длиннее или равно размерам исходного видео, иначе будет ошибка.
- Light Map ControlNet: Эта карта освещения также используется как Light controlnet, используя
- Сила CN и конечный процент: Используйте низкие значения здесь, высокие значения могут вызвать переэкспозицию или резкий переход света.
Одиночная карта освещения

- Чтобы использовать одно изображение в качестве карты освещения, включите эти узлы и подключите узел перенаправления к узлу "Pick one Input".
AnimateDiff

- Загрузите модель Animatediff: Вы можете использовать любую модель для разных эффектов.
- Другие узлы Animatediff: Вам нужно иметь некоторое знание о animatediff для изменения других настроек [Вы можете найти их ]
- Настройки SMZ: Этот узел для повышения качества модельного pipeline, все настройки предопределены для хорошей работы.
Композиция карты освещения и IC кондиционирование

- Верхние узлы регулировки (серого цвета) предназначены для управления кондиционированием IC-Light, чтобы сделать его менее контрастным и контролировать яркость.
- Генерация нового фона: Когда отключено, будет использоваться оригинальный вход изображения и пытаться сопоставить детали, аналогичные фону исходного видео в соответствии с "Background Prompts", если они присутствуют в поле положительной подсказки


[1girl, sunlight, sunset, white shirt, black short jeans, interior, room]
- Когда генерация нового фона включена: Будет сгенерирован новый фон с учетом глубины


[1girl, sunlight, sunset, nature in the background, sky]
Также сила Depth ControlNet и конечный процент были уменьшены до 45%, чтобы иметь открытую область на заднем плане.

- Карта освещения сверху: Когда True, карта освещения будет сверху исходного видео и более доминирующей, когда False исходное видео будет сверху, более доминирующим и ярким
- Область воздействия на объект: 2 режима смешивания работают лучше всего
- Multiply: Затемняет теневые области в соответствии с картой освещения сверху или снизу
- Screen: Осветляет теневые области в соответствии с картой освещения сверху или снизу
- Коэффициент смешивания для интенсивности.


- Общие настройки: Это контролирует яркость, контраст, гамму, оттенок финального обработанного изображения карты освещения сверху.
- Перекарта изображения: Используйте этот узел для управления общей глобальной яркостью и затемнением всего изображения.
- Более высокое минимальное значение осветлит сцену
- Более низкие максимальные значения затемнят сцену и могут превратить яркие области в морфинговые объекты, такие как QrCode Monster CN
- В основном используйте минимальное значение 0.1 или 0.2, чтобы немного осветлить сцену.
- Минимальное значение 0 будет иметь абсолютно черную тень для черных пикселей карты освещения.

KSamplers (Raw и Refine)

IC Raw Ksampler: В отличие от любого другого самплера, он начинает с шага 8 вместо нуля, из-за IC-Light Condition (Кадры шумоподавляются с 8-го шага)
- Например, конечный шаг 20
- Начальный шаг
- 0 не будет иметь эффекта карты освещения.
- 5 будет иметь 50 процентов эффекта
- 10 будет иметь 100 процентов эффекта.
- Так что около 3-8 хорошее значение для тестирования.
Когда генерация нового фона включена, можно опускаться ниже 5 для лучших результатов

- Ksampler Refine: Работает как Img2Img Refiner после IC raw sampler.
Для конечного шага 25
- Начальный шаг
- 10 и ниже будут работать как raw sampler и дадут вам морфинговые объекты
- 15 будет работать как правильный рафинировщик
- 20 не будет работать правильно
- Выше 20 и выше будут давать испорченные результаты
- Так что по умолчанию 16 хорошо.
Исправление лица

- Масштабирование для исправления лица: Если ваши лица не удовлетворяют после исправления лица, вы можете увеличить масштаб до около 1.2 до 1.6 для улучшения лиц.
- Положительная подсказка: Здесь вы можете написать подсказки для лица. По умолчанию установлено "улыбающееся". Вы можете изменить это.
- Уровень шумоподавления лица: Используйте около 0.35 – 0.45. На более высоких значениях лицо может рендериться неправильно и также могут возникнуть проблемы с движущимися лицами.
Сохранение

- Комбинирование видео: Это экспортирует все кадры в видеоформате. Если этот узел не удается при комбинировании, это означает, что слишком много кадров, и он выходит за пределы оперативной памяти. Уменьшите нагрузку на кадры, если это произойдет
- Сохранится в ComfyUI > Outputs по умолчанию.
- Изменить путь вывода: Включите этот узел, если хотите сохранить вывод в пользовательское место сохранения
Об авторе этого рабочего процесса
Джерри Давос
- YouTube канал: https://www.youtube.com/@jerrydavos
- Patreon: https://www.patreon.com/jerrydavos
Контакты
- Email: davos.jerry@gmail.com
- Discord: https://discord.gg/z9rgJyfPWJ