Blender + ComfyUI | AI vykreslování 3D animací

AI vykreslování 3D animací: Blender + ComfyUI

Tento inovativní pracovní postup, vyvinutý talentovaným Mickmumpitz, kombinuje Blender a ComfyUI k vytvoření ohromujících 3D animací vykreslených pomocí AI. Důrazně doporučujeme navštívit jeho YouTube kanál pro další inspiraci.

V následujícím textu jsme použili různé materiály k reprodukci jeho přístupu. Zde jsou kroky:

🌟 Stáhněte si všechny naše Blender materiály pro experimenty z tohoto odkazu.

Část 1: Použití Blenderu k vytváření 3D animací a renderovacích pasů

1. Nastavení 3D scény v Blenderu

• Začněte importováním nebo modelováním potřebných 3D objektů, jako jsou postavy, prostředí a rekvizity. Uspořádejte tyto objekty ve scéně, umístěte kamery a nastavte požadované animace. Odstraňte existující materiály, textury a světla, protože ComfyUI je vygeneruje během procesu vykreslování.

2. Vykreslení hloubkového pasu

• Hloubkový pas poskytuje důležité informace o vzdálenosti pro zlepšení vnímání hloubky, které budou využity v ComfyUI.
• V Blenderu přejděte do Vlastnosti vrstvy pohledu, aktivujte Z pas a vykreslete obrázek. V záložce Kompozice připojte uzel diváka k výstupu hloubky. Normalizujte hodnoty hloubky pomocí uzlu Map Range k vytvoření černobílého gradientu, který reprezentuje hloubku scény.

3. Vykreslení obrysového pasu

• Obrysový pas vytváří linie, které definují tvary a siluety objektů pro použití v ComfyUI.
• V Blenderu použijte nástroj Freestyle k vytvoření obrysů na základě 3D geometrie. Nastavte barvu na bílou a upravte tloušťku čar. Vykreslete obrázek a zpracujte ho v záložce Kompozice.

4. Vykreslení maskového pasu

• Maskový pas přiřazuje jedinečné barvy různým objektům. Ujistěte se, že si poznamenáte Hex kódy těchto barev, protože budou použity pro specifické AI výzvy v ComfyUI.
• V Blenderu přiřaďte jednoduché emisní stínítka s odlišnými barvami každému objektu. Vykreslete obrázek a uložte ho.

Pro podrobné pokyny k těmto krokům se podívejte na YouTube tutoriál Mickmumpitz, pokud nejste obeznámeni s Blenderem.

Po dokončení části 1 budete mít vytvořeny tři typy obrazových sekvencí: maskové obrázky, hloubkové obrázky a obrysové obrázky. Tyto budou použity v dalším kroku s ComfyUI.

Část 2: Použití ComfyUI k vykreslování AI animací

Pracovní postup Mickmumpitz s ComfyUI se skládá z několika klíčových komponent:

1. Načtení obrazových sekvencí

• Načtení maskových sekvencí: Načtěte maskovou sekvenci a poté použijte uzel "regionální podmínění podle barevné masky" k oddělení objektů v maskovém obrázku. Zadejte Hex kód získaný z kroku 1 do pole "mask_color". Tento uzel pak automaticky segmentuje objekty na základě přiřazených barev. 🌟 Poznámka: Pro naše materiály v tomto pracovním postupu používáme specifické Hex kódy. Pokud použijete jiný maskový obrázek, ujistěte se, že zadáte odpovídající Hex kód do pole "mask_color". To zajistí, že uzel "regionální podmínění podle barevné masky" správně segmentuje objekty.
• Načtení hloubkových sekvencí: Načtěte hloubkové sekvence pro poskytování informací o vzdálenosti objektů ve scéně.
• Načtení obrysových sekvencí: Načtěte obrysové sekvence pro definování tvarů a okrajů objektů ve scéně.

🌟 Jak načíst obrazové sekvence podle cesty

Organizujte své sekvence

• Umístěte své maskové sekvence do složky, například {mask}.
• Umístěte své hloubkové sekvence do samostatné složky, například {depth}.
• Umístěte své obrysové sekvence do jiné složky, například {outline}.

Nahrání složek

• Použijte náš prohlížeč souborů k nahrání těchto složek do adresáře ComfyUI/input.

Cesta k adresáři

• Plná cesta k adresáři by měla být: /home/user/ComfyUI/input/{folder_name}.
• Například: /home/user/ComfyUI/input/{mask}.

2. Použití textových výzev k definování vizuálních efektů

Pro maskové sekvence použijte textové výzvy k určení požadovaných vizuálních efektů pro každý objekt ve scéně.

• Hlavní výzva: Tato výzva nastavuje celkový styl a osvětlení pro celou scénu. Určuje obecnou náladu, atmosféru a vizuální tón, který by měl konečný render dosáhnout.
• Regionální výzvy: Tyto výzvy poskytují podrobné popisy pro konkrétní objekty nebo oblasti ve scéně. Každá výzva by měla odpovídat odlišnému objektu nebo oblasti, což zajišťuje, že každý prvek je přesně reprezentován podle záměru.
• Negativní výzva: Tato výzva uvádí prvky, které by měly být vyloučeny z vykreslování. Pomáhá zabránit, aby se určité vlastnosti nebo objekty objevily v konečném výstupu, čímž zajišťuje, že scéna zůstane zaměřená a bez nežádoucích detailů.

3. ControlNet modul

• Vložte hloubkové sekvence do modelu ControlNet Depth.
• Vložte obrysové sekvence do modelu ControlNet Canny.

4. Modul AnimateDiff

• Použijte tento modul k vykreslení plynulých animací ze zpracovaných sekvencí.

5. Volitelné použití IPAdapter

• Použijte IPAdapter pro další podmínění, aby se zlepšila konzistence a kvalita generovaných obrázků.

Díky přesným 3D datům z Blenderu spolu s výkonnými schopnostmi syntézy obrazu pomocí Stable Diffusion přes ComfyUI můžete generovat neuvěřitelně fotorealistické nebo stylizované 3D animace s plnou tvůrčí kontrolou.