AnimateDiff + ControlNet + IPAdapter V1 | Japonský anime styl

Tento pracovní postup je inspirován enigmatic_e s některými úpravami. Pro více informací navštivte jeho YouTube kanál.

1. ComfyUI Workflow: AnimateDiff + ControlNet + IPAdapter | Japonský anime styl

Tento pracovní postup vám umožní transformovat standardní videa na kouzelné japonské anime pomocí AnimateDiff, ControlNet a IPAdapter. Nebojte se experimentovat s různými kontrolními body, nastaveními LoRA a referenčními obrázky pro IPAdapter, abyste vytvořili svůj jedinečný styl. Je to zábavný a kreativní způsob, jak oživit vaše videa ve světě anime!

2. Přehled AnimateDiff

Podívejte se na podrobnosti na Jak používat AnimateDiff v ComfyUI

3. Jak používat ControlNet

3.1. Pochopení ControlNet

ControlNet revolučně mění způsob, jakým generujeme obrázky, tím, že přináší novou úroveň prostorové kontroly do modelů difúze textu na obrázky. Tato špičková architektura neuronových sítí se krásně spojuje s giganty jako Stable Diffusion, využívajíc jejich rozsáhlé knihovny—vytvořené z miliard obrázků—k vkládání prostorových nuancí přímo do struktury tvorby obrázků. Od kreslení okrajů po mapování lidských postojů, vnímání hloubky nebo segmentaci vizuálů, ControlNet vám umožňuje tvarovat obrazy způsoby, které dalece přesahují rámec pouhých textových podnětů.

3.2. Inovace ControlNet

V jádru je ControlNet geniálně jednoduchý. Začíná tím, že zachovává integritu parametrů původního modelu—udržuje základní trénink nedotčený. Poté ControlNet zavádí zrcadlenou sadu kódovacích vrstev modelu, ale s jedním rozdílem: jsou trénovány pomocí "zero convolutions". Tyto nuly jako výchozí bod znamenají, že vrstvy jemně zapracovávají nové prostorové podmínky bez způsobení rozruchu, čímž zajišťují, že původní talenty modelu jsou zachovány, i když se vydává na nové cesty učení.

3.3. Pochopení ControlNets a T2I-Adapters

ControlNets i T2I-Adapters hrají klíčové role v podmínění generování obrázků, přičemž každý nabízí různé výhody. T2I-Adapters jsou známé svou efektivitou, zejména pokud jde o urychlení procesu generování obrázků. Přesto jsou ControlNets bezkonkurenční ve své schopnosti podrobně řídit proces generování, což z nich dělá mocný nástroj pro tvůrce.

S ohledem na překryv funkcionalit mezi mnoha modely T2I-Adapter a ControlNet se naše diskuse bude primárně zaměřovat na ControlNets. Je však třeba poznamenat, že platforma RunComfy má předem načteno několik modelů T2I-Adapter pro snadné použití. Pro ty, kteří mají zájem experimentovat s T2I-Adapters, můžete tyto modely snadno načíst a integrovat do svých projektů.

Výběr mezi modely ControlNet a T2I-Adapter v ComfyUI neovlivňuje použití uzlů ControlNet ani konzistenci pracovního postupu. Tato uniformita zajišťuje plynulý proces, který vám umožňuje využít jedinečné výhody každého typu modelu podle potřeb vašeho projektu.

3.4. Použití uzlů ControlNet

3.4.1. Načítání uzlu "Apply ControlNet"

Nejprve budete muset načíst uzel "Apply ControlNet" do svého ComfyUI. Toto je váš první krok k cestě tvorby obrazu s dvojím podmíněním, mícháním vizuálních prvků s textovými podněty.

3.4.2. Pochopení vstupů uzlu "Apply ControlNet"

Pozitivní a negativní podmínění: Toto jsou vaše nástroje pro tvarování konečného obrazu—co by měl zahrnovat a čemu by se měl vyhnout. Připojte je ke slotům "Positive prompt" a "Negative prompt" pro synchronizaci s textovou částí vaší tvůrčí vize.

Výběr modelu ControlNet: Budete muset propojit tento vstup s výstupem uzlu "Load ControlNet Model". Zde rozhodujete, zda použít model ControlNet nebo T2IAdaptor podle specifických vlastností nebo stylů, které chcete dosáhnout. I když se zaměřujeme na modely ControlNet, stojí za zmínku některé vyhledávané T2IAdaptory pro úplný přehled.

Předzpracování vašeho obrázku: Připojte svůj obrázek k uzlu "ControlNet Preprocessor", což je nezbytné, aby byl váš obrázek připraven pro ControlNet. Je zásadní sladit předzpracovač s vaším modelem ControlNet. Tento krok upravuje váš původní obrázek tak, aby dokonale vyhovoval potřebám modelu—změna velikosti, přebarvení nebo použití potřebných filtrů—a připravuje ho pro použití ControlNet.

3.4.3. Pochopení výstupů uzlu "Apply ControlNet"

Po zpracování vám uzel "Apply ControlNet" představí dva výstupy odrážející sofistikovanou interakci ControlNet a vašeho tvůrčího vstupu: Positive a Negative Conditioning. Tyto výstupy vedou difúzní model v ComfyUI, což vede k vašemu dalšímu rozhodnutí: zjemnit obraz pomocí KSampler nebo se ponořit hlouběji přidáním dalších ControlNets pro ty, kteří chtějí dosáhnout nepřekonatelného detailu a přizpůsobení.

3.4.4. Nastavení "Apply ControlNet" pro nejlepší výsledky

Určování síly: Toto nastavení ovládá, jak moc ControlNet ovlivňuje výsledný obraz. Plné 1.0 znamená, že vstup ControlNet má hlavní slovo, zatímco snížení na 0.0 nechává model běžet bez vlivu ControlNet.

Nastavení počátečního procenta: Toto vám říká, kdy ControlNet začíná zasahovat během procesu difúze. Například 20% start znamená, že od jedné pětiny cesty začíná ControlNet mít vliv.

Nastavení koncového procenta: Toto je opačná strana počátečního procenta, označuje, kdy ControlNet ustupuje. Pokud jej nastavíte na 80%, vliv ControlNet mizí, když se obraz blíží ke svým konečným fázím, nezasažen ControlNet v poslední fázi.

3.5. Průvodce modely ControlNet: Openpose, Depth, SoftEdge, Canny, Lineart, Tile

3.5.1. Model ControlNet: Openpose

• Openpose (také známý jako Openpose body): Tento model slouží jako základní kámen ControlNet pro identifikaci klíčových bodů na lidském těle, jako jsou oči, nos, krk, ramena, lokty, zápěstí, kolena a kotníky. Je ideální pro replikaci jednoduchých lidských pozic.
• Openpose_face: Tato verze Openpose jde o krok dále tím, že detekuje klíčové body obličeje, což umožňuje nuancovanou analýzu výrazů obličeje a směru, kterým obličej míří. Pokud je váš projekt zaměřen na výrazy obličeje, je tento model nezbytný.
• Openpose_hand: Toto vylepšení modelu Openpose se zaměřuje na jemné detaily pohybů rukou a prstů, což je klíčové pro podrobné pochopení gest rukou a jejich umístění. Rozšiřuje rozsah toho, co může Openpose ve ControlNet udělat.
• Openpose_faceonly: Přizpůsobený pro analýzu detailů obličeje, tento model přeskočí klíčové body těla a zaměřuje se výhradně na výrazy obličeje a orientaci. Když záleží pouze na rysech obličeje, je to model, který si vybrat.
• Openpose_full: Tento model vše v jednom integruje schopnosti Openpose, Openpose_face a Openpose_hand pro detekci klíčových bodů celého těla, obličeje a rukou, což z něj činí ideální volbu pro komplexní analýzu lidských pozic ve ControlNet.
• DW_Openpose_full: Stavející na Openpose_full, tento model zavádí další vylepšení pro lepší detail a přesnost detekce pozic. Je to nejpokročilejší verze dostupná v sadě ControlNet.

Možnosti předzpracování zahrnují: Openpose nebo DWpose

3.5.2. Model ControlNet: Depth

Modely hloubky používají 2D obrázek k odhadu hloubky, kterou představují jako stupnici šedi. Každý má své silné stránky, pokud jde o detaily nebo zaměření na pozadí:

• Depth Midas: Vyvážený přístup k odhadu hloubky, Depth Midas nabízí střední cestu v detailech a zobrazení pozadí.
• Depth Leres: Klade důraz na detaily, zatímco stále zachycuje prvky pozadí výrazněji.
• Depth Leres++: Posouvá hranice detailů v informacích o hloubce, což je zvláště užitečné pro složité scény.
• Zoe: Nachází rovnováhu mezi úrovněmi detailů modelů Midas a Leres.
• Depth Anything: Vylepšený model pro univerzální odhad hloubky v různých scénách.
• Depth Hand Refiner: Specificky jemně ladí detaily rukou v hloubkových mapách, což je neocenitelné pro scény, kde je přesné umístění rukou nezbytné.

Předzpracovače k zvážení: Depth_Midas, Depth_Leres, Depth_Zoe, Depth_Anything, MeshGraphormer_Hand_Refiner. Tento model vyniká svou robustností a kompatibilitou se skutečnými hloubkovými mapami z renderovacích enginů.

3.5.3. Model ControlNet: SoftEdge

ControlNet Soft Edge je navržen tak, aby produkoval obrázky s jemnějšími okraji, zvyšujícími detaily při zachování přirozeného vzhledu. Využívá špičkové neuronové sítě pro rafinovanou manipulaci s obrázky, nabízející rozsáhlou tvůrčí kontrolu a bezchybnou integraci.

Co se týče robustnosti: SoftEdge_PIDI_safe > SoftEdge_HED_safe >> SoftEdge_PIDI > SoftEdge_HED

Pro nejkvalitnější výsledky: SoftEdge_HED > SoftEdge_PIDI > SoftEdge_HED_safe > SoftEdge_PIDI_safe

Obecně doporučujeme SoftEdge_PIDI, protože obvykle poskytuje vynikající výsledky.

Předzpracovače zahrnují: SoftEdge_PIDI, SoftEdge_PIDI_safe, SoftEdge_HED, SoftEdge_HED_safe.

3.5.4. Model ControlNet: Canny

Model Canny implementuje detekci hran Canny pro zvýraznění širokého spektra hran v obrázcích. Tento model je vynikající pro zachování integrity strukturálních prvků při zjednodušení celkového vzhledu obrázku, což napomáhá při tvorbě stylizovaného umění nebo přípravě obrázků na další manipulaci.

Dostupné předzpracovače: Canny

3.5.5. Model ControlNet: Lineart

Lineart modely jsou vaše nástroje pro transformaci obrázků do stylizovaných kreslených čar, vhodné pro různé umělecké aplikace:

• Lineart: Standardní volba pro přeměnu obrázků na kresby čarami, poskytující univerzální výchozí bod pro různé umělecké nebo kreativní záměry.
• Lineart anime: Přizpůsobený pro vytváření čistých, přesných kreslených čar ve stylu anime, ideální pro projekty, které usilují o vzhled inspirovaný anime.
• Lineart realistic: Snaží se zachytit realističtější reprezentaci v kresbách čarami, nabízející více detailů pro projekty, které vyžadují realismus.
• Lineart coarse: Zdůrazňuje výraznější, výraznější čáry pro výrazný vizuální dopad, ideální pro odvážné grafické výrazy.

Dostupné předzpracovače mohou produkovat buď detailní nebo výraznější kresby čarami (Lineart a Lineart_Coarse).

3.5.6. Model ControlNet: Tile

Model Tile Resample vyniká ve zvýraznění detailů v obrázcích. Je zvláště efektivní, když je použit ve spojení s upscalerem pro zvýšení rozlišení a detailů obrázků, často se aplikuje pro ostření a obohacení textur a prvků obrázků.

Doporučený předzpracovač: Tile

3.6. Průvodce použitím více ControlNet

Zařazení více ControlNets nebo T2I-Adapters umožňuje sekvenční aplikaci různých typů podmínění do vašeho procesu generování obrázků. Například můžete kombinovat Lineart a OpenPose ControlNets pro vylepšené detaily.

Lineart pro tvar objektů: Začněte integrací Lineart ControlNet pro přidání hloubky a detailů objektům nebo prvkům ve vašichjson obrázcích. Tento proces zahrnuje přípravu lineart nebo canny mapy pro objekty, které chcete zahrnout.

OpenPose pro kontrolu pozice: Po detailování lineart použijte OpenPose ControlNet k určení pozice jednotlivců ve vašem obrázku. Budete potřebovat vytvořit nebo získat OpenPose mapu, která zachycuje požadovanou pozici.

Sekvenční aplikace: Pro efektivní kombinaci těchto efektů propojte výstup z Lineart ControlNet do OpenPose ControlNet. Tato metoda zajišťuje, že jak pozice subjektů, tak tvary objektů jsou současně vedeny během procesu generování, vytvářejíc výsledek, který harmonicky ladí se všemi vstupními specifikacemi.

4. Přehled IPAdapter

Podívejte se na podrobnosti na Jak používat IPAdapter v ComfyUI