Blender + ComfyUI | AI Renderowanie Animacji 3D

AI Renderowanie Animacji 3D: Blender + ComfyUI

Ten innowacyjny przepływ pracy, opracowany przez utalentowanego Mickmumpitz, łączy Blender i ComfyUI, aby tworzyć oszałamiające animacje 3D renderowane za pomocą AI. Gorąco polecamy odwiedzenie jego kanału YouTube po więcej inspiracji.

W poniższym przykładzie użyliśmy różnych materiałów, aby odtworzyć jego podejście. Oto kroki:

🌟 Pobierz wszystkie nasze materiały Blender do eksperymentów z tego linku.

Część 1: Używanie Blender do Tworzenia Animacji 3D i Renderowania Przejść

1. Skonfiguruj Scenę 3D w Blender

• Zacznij od importowania lub modelowania niezbędnych zasobów 3D, takich jak postacie, środowiska i rekwizyty. Ułóż te zasoby w scenie, ustaw kamery i skonfiguruj wszelkie wymagane animacje. Usuń istniejące materiały, tekstury i światła, ponieważ ComfyUI wygeneruje je podczas procesu renderowania.

2. Renderowanie Przejścia Głębi

• Przejście głębi dostarcza istotnych informacji o odległości, które poprawią percepcję głębi, co zostanie wykorzystane w ComfyUI.
• W Blender, przejdź do Właściwości Warstwy Widoku, aktywuj Z przejście i renderuj obraz. W zakładce Kompozycja, podłącz węzeł widoku do wyjścia głębi. Znormalizuj wartości głębi za pomocą węzła Map Range, aby stworzyć czarno-biały gradient reprezentujący głębię sceny.

3. Renderowanie Przejścia Konturu

• Przejście konturu tworzy krawędzie rysunku konturowego, które definiują kształty i sylwetki obiektów do wykorzystania w ComfyUI.
• W Blender, użyj narzędzia Freestyle do tworzenia konturów na podstawie geometrii 3D. Ustaw kolor na biały i dostosuj grubość linii. Renderuj obraz i przetwarzaj go w zakładce Kompozycja.

4. Renderowanie Przejścia Maski

• Przejście maski przypisuje unikalne kolory różnym obiektom. Upewnij się, że zanotujesz kody Hex dla tych kolorów, ponieważ będą one używane do konkretnych poleceń AI w ComfyUI.
• W Blender, przypisz proste shadery emisji z różnymi kolorami do każdego obiektu. Renderuj obraz i zapisz go.

Szczegółowe instrukcje dotyczące tych kroków znajdziesz w tutorialu YouTube Mickmumpitz, jeśli nie jesteś zaznajomiony z Blender.

Po ukończeniu Części 1, stworzysz trzy rodzaje sekwencji obrazów: obrazy maski, obrazy głębi i obrazy konturu. Zostaną one użyte w następnym kroku z ComfyUI.

Część 2: Używanie ComfyUI do Renderowania Animacji AI

Przepływ pracy ComfyUI Mickmumpitz składa się z kilku kluczowych komponentów:

1. Ładowanie Sekwencji Obrazów

• Ładuj Sekwencje Masek: Załaduj sekwencję maski, a następnie użyj węzła "regional conditioning by color mask", aby oddzielić obiekty na obrazie maski. Wprowadź kod Hex uzyskany w Kroku 1 do pola "mask_color". Ten węzeł automatycznie segmentuje obiekty na podstawie przypisanych kolorów. 🌟 Uwaga: Używamy konkretnych kodów Hex dla naszych materiałów w tym przepływie pracy. Jeśli używasz innego obrazu maski, upewnij się, że wprowadzasz odpowiadający kod Hex w polu "mask_color". To zapewnia, że węzeł "regional conditioning by color mask" poprawnie segmentuje obiekty.
• Ładuj Sekwencje Głębi: Załaduj sekwencje głębi, aby dostarczyć informacji o odległości obiektów w scenie.
• Ładuj Sekwencje Konturu: Załaduj sekwencje konturu, aby zdefiniować kształty i krawędzie obiektów w scenie.

🌟 Jak Ładować Sekwencje Obrazów według Ścieżki

Organizuj Swoje Sekwencje

• Umieść swoje sekwencje masek w folderze, na przykład {mask}.
• Umieść swoje sekwencje głębi w osobnym folderze, na przykład {depth}.
• Umieść swoje sekwencje konturu w innym folderze, na przykład {outline}.

Prześlij Foldery

• Użyj naszego przeglądarki plików, aby przesłać te foldery do katalogu ComfyUI/input.

Ścieżka Katalogu

• Pełna ścieżka katalogu powinna być: /home/user/ComfyUI/input/{folder_name}.
• Na przykład: /home/user/ComfyUI/input/{mask}.

2. Użyj Poleceń Tekstowych do Definiowania Efektów Wizualnych

Dla Sekwencji Masek, użyj poleceń tekstowych, aby określić pożądane efekty wizualne dla każdego obiektu w scenie.

• Główne Polecenie: To polecenie ustawia ogólny styl i oświetlenie dla całej sceny. Dyktuje ogólny nastrój, atmosferę i wizualny ton, który powinien osiągnąć końcowy rendering.
• Polecenia Regionalne: Te polecenia dostarczają szczegółowych opisów dla konkretnych obiektów lub obszarów w scenie. Każde polecenie powinno odpowiadać odrębnemu obiektowi lub regionowi, zapewniając, że każdy element jest dokładnie reprezentowany zgodnie z zamierzeniem.
• Negatywne Polecenie: To polecenie wymienia elementy, które powinny być wykluczone z renderowania. Pomaga to zapobiec pojawianiu się pewnych cech lub obiektów w końcowym wyniku, zapewniając, że scena pozostaje skoncentrowana i wolna od niechcianych szczegółów.

3. Moduł ControlNet

• Wprowadź sekwencje głębi do modelu ControlNet Depth.
• Wprowadź sekwencje konturu do modelu ControlNet Canny.

4. Moduł AnimateDiff

• Użyj tego modułu do renderowania płynnych animacji z przetworzonych sekwencji.

5. Opcjonalne Użycie IPAdapter

• Użyj IPAdapter do dodatkowego przewodnictwa kondycjonowania, aby poprawić spójność i jakość generowanych obrazów.

Poprzez wykorzystanie precyzyjnych danych 3D z Blender oraz potężnych możliwości syntezy obrazów Stable Diffusion za pomocą ComfyUI, możesz tworzyć niesamowicie fotorealistyczne lub stylizowane animacje 3D z pełną kontrolą twórczą.