AnimateDiff ComfyUI Workflow/Tutorial - Stable Diffusion Анимация

Привет! Вы когда-нибудь восхищались идеей превращения текста в видео? Это не ново, но с каждым днем становится все интереснее. Сегодня давайте обсудим один из этих крутых инструментов - AnimateDiff в среде ComfyUI. Независимо от того, являетесь ли вы цифровым художником или просто любите исследовать новые технологии, AnimateDiff предлагает захватывающий способ преобразовать ваши текстовые идеи в анимированные GIF и видео.

Мы рассмотрим:

1. Как работает AnimateDiff?
2. ComfyUI AnimateDiff Workflow - Без установки, совершенно бесплатно
3. AnimateDiff V3 vs. Animatediff SDXL vs. AnimateDiff v2
   • AnimateDiff V3: Новый модуль движения в Animatediff
   • AnimateDiff SDXL
   • AnimateDiff V2
4. Настройки AnimateDiff: Как использовать AnimateDiff в ComfyUI
   • Модели AnimateDiff
   • CheckPoint модели для AnimateDiff
   • Бета-расписание
   • Масштаб движения
   • Размер контекстного пакета определяет длину анимации
   • Длина контекста
   • Motion LoRA для динамики камеры (только AnimateDiff v2)
5. AnimateDiff Prompt
6. AnimateDiff Prompt Travel / Планирование Prompt
7. ComfyUI Hires Fix - Улучшение ваших анимаций
8. Готовый к использованию ComfyUI AnimateDiff Workflow: Исследование Stable Diffusion Анимации

1. Как работает AnimateDiff?

Основой AnimateDiff является модуль моделирования движения. Представьте его как мозг операции, который учится всем движениям из различных видеоклипов. Это как учитель танцев, который знает все движения. Этот модуль плавно интегрируется в предварительно обученные модели преобразования текста в изображение. Так что вы больше не ограничены статичными изображениями – ваши творения могут танцевать, прыгать и кружиться!

2. ComfyUI AnimateDiff Workflow - Без установки, совершенно бесплатно

Посмотрите видео выше, созданное с помощью ComfyUI AnimateDiff workflow. Теперь вы можете погрузиться в этот Animatediff Workflow без каких-либо хлопот с установкой. Мы все настроили для вас в облачном ComfyUI, включая AnimateDiff workflow и все необходимые модели и пользовательские узлы Animatediff V3, Animatediff SDXL и Animatediff V2.

Не стесняйтесь экспериментировать и играть с этим. Или вы можете продолжить читать этот учебник о том, как использовать AnimateDiff, а затем попробовать позже.

3. AnimateDiff V3 vs. Animatediff SDXL vs. AnimateDiff v2

Давайте прогуляемся по различным версиям AnimateDiff. У каждой версии есть свои особенности, так что пристегнитесь для быстрого тура!

3.1. AnimateDiff V3: Новый модуль движения в Animatediff

AnimateDiff V3 - это не просто новая версия, это эволюция технологии модуля движения, выделяющаяся своими усовершенствованными функциями. Модуль движения v3_sd15_mm.ckpt является сердцем этой версии, отвечающим за тонкие и гибкие анимации.

давайте разберем техническую магию за этим. Главный игрок здесь - модуль Domain Adapter LoRA, который по сути является праймером для модуля движения. Обучаясь на статических кадрах из видеодатасета, этот модуль LoRA делает AnimateDiff более способным к обработке движения. Круто, правда?

При использовании AnimateDiff V3 вы заметите, что он не обязательно превосходит Animatediff V2 во всех аспектах. Вместо этого он предлагает различные типы движений, добавляя больше инструментов в ваш творческий арсенал.

Положительный Prompt：шедевр, лучшее качество, девушка с радужными волосами, очень дикие волосы, грива

Отрицательный Prompt: (низкое качество, nsfw, худшее качество:1.4), (деформированный, искаженный, обезображенный:1.3), easynegative, руки, bad-hands-5, размытый, уродливый, текст, embedding:easynegative

CheckPoint: toonyou_beta6

3.2. AnimateDiff SDXL

Если вам нравятся видео высокого разрешения, AnimateDiff SDXL может быть вашим выбором. Работая на модуле движения mm_sdxl_v10_beta.ckpt, он предназначен для создания анимаций с разрешением 1024x1024 пикселей и 16 кадрами. Только имейте в виду, что это все еще бета-версия, так что может быть разумно подождать немного, прежде чем погружаться.

Используйте тот же Положительный Prompt и Отрицательный Prompt, что и для AnimateDiff V3

CheckPoint: dreamshaperXL10_alpha2Xl10

3.3. AnimateDiff V2

AnimateDiff V2 - это классика! С модулем mm_sd_v15_v2.ckpt, эта версия предлагает MotionLoRA для восьми основных движений камеры: приближение/удаление, панорамирование влево/вправо, наклон вверх/вниз и поворот по часовой стрелке/против часовой стрелки. AnimateDiff V2 идеально подходит, если вы стремитесь к динамичным движениям камеры, чтобы добавить драматизма вашим анимациям.

Используйте тот же Положительный Prompt и Отрицательный Prompt, что и для AnimateDiff V3

CheckPoint: toonyou_beta6

4. Настройки AnimateDiff: Как использовать AnimateDiff в ComfyUI

Как только вы войдете в workflow AnimateDiff в ComfyUI, вы увидите группу с надписью "AnimateDiff Options", как показано ниже. Эта область содержит настройки и функции, которые вы, вероятно, будете использовать при работе с AnimateDiff.

4.1. Модели AnimateDiff

Прежде всего, выберите модуль движения AnimateDiff, который вы хотите попробовать, в выпадающем списке model_name:

• v3_sd15_mm.ckpt для AnimateDiff V3
• mm_sdxl_v10_beta.ckpt для AnimateDiff SDXL
• mm_sd_v15_v2.ckpt для AnimateDiff V2

4.2. CheckPoint модели для AnimateDiff

AnimateDiff нуждается в модели контрольной точки Stable Diffusion.

Для AnimateDiff V2 и V3 необходимо использовать модель SD v1.5. Модели, такие как realisticVisionV60B1_V51VAE, toonyou_beta6 и cardos_Animev2.0, являются лучшими вариантами.

Если вы склоняетесь к AnimateDiff SDXL, выберите модель SDXL, такую как sd_xl_base_1.0 или dreamshaperXL10_alpha2Xl10.

В облачной среде RunComfy все модули движения и модели контрольных точек предустановлены для вашего удобства.

4.3. Бета-расписание

Бета-расписание в AnimateDiff определяет поведение процесса снижения шума во время генерации анимации.

Для AnimateDiff V3 и V2 настройка sqrt_linear обычно является предпочтительной, но не стесняйтесь попробовать linear для интересных эффектов.

Для AnimateDiff XL придерживайтесь linear (AnimateDiff-SDXL).

4.4. Масштаб движения

Масштаб движения в AnimateDiff позволяет контролировать интенсивность движения. Значение менее 1 означает более тонкие движения; значение более 1 означает более выраженные движения.

4.5. Размер контекстного пакета определяет длину анимации

Размер пакета в AnimateDiff представляет собой строительные блоки вашей анимации. Он служит основным фактором, влияющим на длину вашей анимации. Он определяет количество "сцен" или сегментов, из которых будет состоять ваша анимация.

Большие размеры пакетов приводят к большему количеству сцен в вашей анимации, что позволяет создавать более длинные и сложные истории. Нет верхнего предела для размера пакета, так что вы можете создавать анимации любой длины. По умолчанию размер пакета составляет 16.

• 16 Размер пакета = Быстрое, 2-секундное видео
• 32 Размер пакета = Короткий, 4-секундный клип
• 64 Размер пакета = Более длинный, 8-секундный ролик

4.6. Длина контекста

Единый контекст в AnimateDiff играет важную роль в обеспечении плавных переходов между сценами, установленными вашим размером пакета. Это как умелый редактор, который точно знает, как сшивать сцены для наиболее естественного потока.

Длина, которую вы установите для единого контекста, будет определять характер переходов между сценами. Более длинная длина единого контекста приводит к более плавным и постепенным переходам, делая смену сцен почти незаметной. С другой стороны, более короткая длина создаст более быстрые и заметные переходы, что может быть идеально для определенных эффектов повествования. По умолчанию длина единого контекста составляет 16.

4.7. Motion LoRA для динамики камеры (только AnimateDiff v2)

Motion LoRAs совместимы исключительно с AnimateDiff v2. Эти удобные дополнения добавляют динамический слой движения камеры к вашим анимациям. При использовании Motion LoRAs важно найти правильный баланс с весом LoRA. Установка его на уровне около 0.75 обычно является оптимальным, обеспечивая плавные движения камеры без неприятных артефактов фона.

Кроме того, у вас есть творческая свобода для цепочки нескольких Motion LoRAs. Стратегически комбинируя различные модели Motion LoRA, вы можете организовывать сложные движения камеры, экспериментировать и находить идеальное сочетание движений для вашей уникальной анимационной концепции, тем самым поднимая вашу анимацию до уровня кинематографического шедевра.

Вот пример использования функций Motion LoRa "Pan Left" и "Zoom In" вместе.

5. AnimateDiff Prompt

Хорошо, теперь, когда у вас есть модель и настройки AnimateDiff, пора показать результат! Это момент, когда вы превращаете свой текст в видео анимации.

Вот пример положительного и отрицательного Prompt:

Положительный Prompt：(шедевр, лучшее качество), 1girl, solo, elf, mist, sundress, forest, standing, in water, waterfall, looking at viewer, blurry foreground, dappled sunlight, moss, (intricate, lotus, mushroom)

Отрицательный Prompt: (низкое качество, nsfw, худшее качество, текст, letterboxed:1.4), (деформированный, искаженный, обезображенный:1.3), easynegative, руки, bad-hands-5, размытый, уродливый, embedding:easynegative

6. AnimateDiff Prompt Travel / Планирование Prompt

Но постойте, это еще не все! Пробовали ли вы Prompt Travel / Планирование Prompt? Подумайте об этом как о том, что вы становитесь режиссером кино. Вы контролируете, создавая свою историю сцена за сценой. Это как собирать пазл, где каждая часть - это момент вашей истории.

Как работает Prompt Travel?

Представьте, что вы создаете мини-фильм. Вы устанавливаете Prompt 1 на кадре 1 и Prompt 2 на кадре 8 и так далее. AnimateDiff плавно объединит эти Prompt, создавая плавный переход от кадра 1 до кадра 8.

Совет: Хотя Prompt Travel может быть интересным, важно отметить, что это не всегда гарантированный успех. Эффективность Prompt Travel также зависит от выбранной вами модели контрольной точки. Например, модель cardos_Animev2.0 совместима с Prompt Travel, но это не относится ко всем моделям . Кроме того, результат может быть непредсказуемым - некоторые Prompt могут плохо сочетаться, что приведет к менее идеальным переходам. Это делает Prompt Travel скорее экспериментальной функцией, чем гарантированным инструментом для плавной анимации.

Мы разместили узел "Prompt Travel / Планирование Prompt" в конце workflow AnimateDiff ComfyUI. Если вам интересно поэкспериментировать, вам нужно будет использовать "Prompt Travel" вместо обычного варианта "Prompt".

7. ComfyUI Hires Fix - Улучшение ваших анимаций

Используя AnimateDiff вместе с Hi-Res fix, вы можете улучшить разрешение ваших изображений. Этот процесс превращает слегка размытые изображения в кристально чистые шедевры. В этом разделе мы представим два метода.

7.1. Latent Upscale

Традиционное латентное увеличение в ComfyUI. Применяя настройки, такие как сила денойзинга 0.6 и выбор увеличения в 1.5 раза, вы увидите, как ваши анимации преобразуются с более богатыми деталями и четкостью. Это как надеть очки и внезапно увидеть мир в высоком разрешении!

7.2. ControlNet Upscale

Традиционное латентное увеличение - это круто, но давайте поднимем уровень с помощью Control Net Assisted Latent Upscale. Он использует ControlNets для более точного увеличения, обеспечивая сохранение целостности вашей анимации. С добавлением предварительного процессора lineart и правильной модели controlnet вы улучшите свое искусство, сохранив его душу.

8. Готовый к использованию ComfyUI AnimateDiff Workflow: Исследование Stable Diffusion Анимации

Мы погрузились в захватывающий мир AnimateDiff в ComfyUI. Для тех, кто хочет поэкспериментировать с workflow ComfyUI AnimateDiff, который мы выделили, обязательно попробуйте RunComfy, облачную среду, оснащенную мощным GPU и полностью подготовленную, включая все необходимые модели и пользовательские узлы. Никаких ручных настроек не требуется! Просто площадка для раскрытия вашего творчества. 🌟

Автор: редакторы RunComfy

Наша команда редакторов работает с ИИ более 15 лет, начиная с NLP/Vision в эпоху RNN/CNN. Мы накопили огромный опыт в области AI Chatbot/Art/Animation, таких как BERT/GAN/Transformer и т. д. Обратитесь к нам, если вам нужна помощь в создании AI-искусства, анимации и видео.