AnimateDiff + ControlNet | Styl sztuki ceramicznej

1. Przepływ pracy ComfyUI: AnimateDiff + ControlNet | Styl sztuki ceramicznej

Ten przepływ pracy wykorzystuje AnimateDiff, ControlNet z naciskiem na głębię, oraz specyficzne Lora, aby zręcznie przekształcić wideo w styl sztuki ceramicznej. Zachęcamy do używania różnych promptów, aby osiągnąć różne style artystyczne, przekształcając swoje pomysły w rzeczywistość.

2. Jak używać AnimateDiff

AnimateDiff jest zaprojektowany do animowania statycznych obrazów i promptów tekstowych w dynamiczne wideo, wykorzystując modele Stable Diffusion i specjalistyczny moduł ruchu. Automatyzuje proces animacji, przewidując płynne przejścia między klatkami, dzięki czemu jest dostępny dla użytkowników bez umiejętności kodowania.

2.1 Moduły ruchu AnimateDiff

Aby rozpocząć, wybierz pożądany moduł ruchu AnimateDiff z rozwijanego menu model_name:

• Użyj v3_sd15_mm.ckpt dla AnimateDiff V3
• Użyj mm_sd_v15_v2.ckpt dla AnimateDiff V2
• Użyj mm_sdxl_v10_beta.ckpt dla AnimateDiff SDXL

2.2 Harmonogram Beta

Harmonogram Beta w AnimateDiff jest kluczowy dla dostosowania procesu redukcji szumu podczas tworzenia animacji.

Dla wersji V3 i V2 AnimateDiff, zalecane jest ustawienie sqrt_linear, chociaż eksperymentowanie z ustawieniem linear może dać unikalne efekty.

Dla AnimateDiff SDXL, zalecane jest ustawienie linear (AnimateDiff-SDXL).

2.3 Skala ruchu

Funkcja Skala ruchu w AnimateDiff pozwala na dostosowanie intensywności ruchu w animacjach. Skala ruchu poniżej 1 skutkuje subtelniejszym ruchem, podczas gdy skala powyżej 1 zwiększa intensywność ruchu.

2.4 Długość kontekstu

Jednolita długość kontekstu w AnimateDiff jest niezbędna do zapewnienia płynnych przejść między scenami określonymi przez rozmiar partii. Działa jak ekspert-montażysta, płynnie łącząc sceny dla płynnej narracji. Ustawienie dłuższej jednolitej długości kontekstu zapewnia płynniejsze przejścia, podczas gdy krótsza długość oferuje szybsze, bardziej wyraziste zmiany scen, korzystne dla pewnych efektów. Standardowa jednolita długość kontekstu wynosi 16.

2.5 Wykorzystanie Motion LoRA dla zwiększonej dynamiki kamery (specyficzne dla AnimateDiff v2)

Motion LoRAs, kompatybilne wyłącznie z AnimateDiff v2, wprowadzają dodatkową warstwę dynamicznego ruchu kamery. Osiągnięcie optymalnej równowagi z wagą LoRA, zazwyczaj około 0,75, zapewnia płynny ruch kamery bez zniekształceń tła.

Ponadto, łączenie różnych modeli Motion LoRA pozwala na skomplikowaną dynamikę kamery. Umożliwia to twórcom eksperymentowanie i odkrywanie idealnej kombinacji dla ich animacji, podnosząc ją do poziomu kinowego.

3. Jak używać ControlNet

ControlNet zwiększa generowanie obrazów, wprowadzając precyzyjną kontrolę przestrzenną do modeli tekst-na-obraz, umożliwiając użytkownikom manipulowanie obrazami w zaawansowany sposób, wykraczający poza same prompty tekstowe, dzięki wykorzystaniu ogromnych bibliotek modeli takich jak Stable Diffusion do zadań takich jak szkicowanie, mapowanie i segmentacja wizualna.

Poniżej znajduje się najprostszy przepływ pracy z użyciem ControlNet.

3.1 Ładowanie węzła "Apply ControlNet"

Rozpocznij tworzenie obrazu, ładując węzeł "Apply ControlNet" w ComfyUI, przygotowując scenę do łączenia elementów wizualnych i tekstowych w projekcie.

3.2 Wejścia węzła "Apply ControlNet"

Użyj pozytywnego i negatywnego warunkowania, aby kształtować obraz, wybierz model ControlNet, aby zdefiniować cechy stylu, oraz wstępnie przetwórz obraz, aby upewnić się, że spełnia wymagania modelu ControlNet, czyniąc go gotowym do przekształcenia.

3.3 Wyjścia węzła "Apply ControlNet"

Wyjścia węzła prowadzą model dyfuzji, oferując wybór między dalszym udoskonalaniem obrazu lub dodaniem kolejnych ControlNetów dla zwiększonej szczegółowości i personalizacji na podstawie interakcji ControlNet z twoimi kreatywnymi wkładami.

3.4 Dostosowanie "Apply ControlNet" dla najlepszych wyników

Kontroluj wpływ ControlNet na obraz za pomocą ustawień takich jak Determining Strength, Adjusting Start Percent, i Setting End Percent, aby precyzyjnie dostroić proces twórczy i wynik obrazu.

Aby uzyskać bardziej szczegółowe informacje, sprawdź Jak używać ControlNet w ComfyUI

Ten przepływ pracy jest inspirowany przez MDMZ z pewnymi modyfikacjami. Aby uzyskać więcej informacji, odwiedź jego kanał YouTube.