ComfyUI  >  Handledningar  >  Djupdykning i ComfyUI ControlNet: Med funktioner som Depth, OpenPose, Canny, Lineart, Softedge, Scribble, Seg...

Hej där! I denna guide ska vi dyka in i den spännande världen av ControlNet i ComfyUI. Låt oss utforska tillsammans vad den erbjuder och hur den kan krydda dina projekt!

Vi kommer att täcka:

1. Vad är ControlNet?

2. De tekniska aspekterna bakom ControlNet

3. Hur man använder ComfyUI ControlNet: Grundläggande steg

  • 3.1. Ladda "Apply ControlNet"-noden i ComfyUI
  • 3.2. Ingångar till "Apply ControlNet"-noden
  • 3.3. Utgångar från "Apply ControlNet"-noden
  • 3.4. Parametrar för finjustering av "Apply ControlNet"

4. Hur man använder ComfyUI ControlNet: Avancerade funktioner - Timestep Keyframes

5. Olika ControlNet/T2IAdaptor-modeller: Detaljerad översikt

  • 5.1. ControlNet Openpose
  • 5.2. ControlNet Tile
  • 5.3. ControlNet Canny
  • 5.4. ControlNet Depth
  • 5.5. ControlNet Lineart
  • 5.6. ControlNet Scribbles
  • 5.7. ControlNet Segmentation
  • 5.8. ControlNet Shuffle
  • 5.9. ControlNet Inpainting
  • 5.10. ControlNet MLSD
  • 5.11. ControlNet Normalmaps
  • 5.12. ControlNet Soft Edge
  • 5.13. ControlNet IP2P (Instruct Pix2Pix)
  • 5.14. T2I Adapter
  • 5.15. Andra populära ControlNet: QRCode Monster och IP-Adapter

6. Hur man använder flera ControlNets

7. Upplev ComfyUI ControlNet nu!

🌟🌟🌟 ComfyUI Online - Upplev ControlNet Workflow nu 🌟🌟🌟

Om du är intresserad av att utforska ControlNet-arbetsflödet, använd följande ComfyUI web. Den är fullt utrustad med alla nödvändiga kundnoder och modeller, vilket möjliggör sömlös kreativitet utan behov av manuella inställningar. Börja få praktisk erfarenhet genom att experimentera med ControlNets funktioner omedelbart, eller fortsätt med denna handledning för att lära dig hur du använder ControlNet effektivt.

För mer avancerade och premium ComfyUI-arbetsflöden, besök vår 🌟ComfyUI Workflow List🌟

1. Vad är ControlNet?

ControlNet är en transformativ teknik som avsevärt förbättrar kapaciteten hos text-till-bild-diffusionsmodeller, vilket möjliggör en oöverträffad rumslig kontroll i bildgenerering. Som en neuralt nätverksarkitektur integreras ControlNet sömlöst med storskaliga, förtränade modeller som Stable Diffusion. Den utnyttjar den omfattande träningen av dessa modeller—byggt på miljarder bilder för att introducera rumsliga villkor i bildskapelseprocessen. Dessa villkor kan variera från kanter och mänskliga poser till djup- och segmenteringskartor, vilket gör det möjligt för användare att styra bildgenereringen på sätt som tidigare inte var möjliga med bara textpromptar.

2. De tekniska aspekterna bakom ControlNet

Genialiteten i ControlNet ligger i dess distinkta metodik. Inledningsvis säkrar den de ursprungliga modellparametrarna, vilket säkerställer att den grundläggande träningen förblir oförändrad. Därefter introducerar ControlNet en klon av modellens kodningslager för träning, genom att använda "zero convolutions." Dessa specialdesignade konvolutionslager börjar med nollvikter, noggrant integrerande nya rumsliga villkor. Denna metod förhindrar att störande brus ingriper, bibehåller modellens ursprungliga skicklighet samtidigt som nya inlärningsbanor initieras.

3. Hur man använder ComfyUI ControlNet: Grundläggande steg

Traditionellt använder stabila diffusionsmodeller textpromptar som konditioneringsmekanism för att styra genereringen av bilder, vilket justerar utfallet med specifikationerna i textprompten. ControlNet introducerar en ytterligare form av konditionering till denna process, vilket förbättrar kapaciteten att styra den genererade bilden mer exakt enligt både textuella och visuella ingångar.

3.1. Ladda "Apply ControlNet"-noden i ComfyUI

Detta steg integrerar ControlNet i ditt ComfyUI-arbetsflöde, vilket möjliggör tillämpning av ytterligare konditionering till din bildgenereringsprocess. Det lägger grunden för att tillämpa visuell vägledning tillsammans med textpromptar.

3.2. Ingångar till "Apply ControlNet"-noden

Positiv och negativ konditionering: Dessa ingångar är avgörande för att definiera de önskade resultaten och de aspekter som ska undvikas i den genererade bilden. De bör kopplas till "Positive prompt" och "Negative prompt" respektive, i linje med den textuella konditioneringsdelen av processen.

ControlNet Model: Denna ingång bör vara ansluten till utgången av "Load ControlNet Model"-noden. Detta steg är nödvändigt för att välja och inkorporera antingen en ControlNet- eller T2IAdaptor-modell i ditt arbetsflöde, vilket säkerställer att diffusionsmodellen drar nytta av den specifika vägledning som tillhandahålls av din valda modell. Varje modell, oavsett om det är en ControlNet eller en T2IAdaptor, är rigoröst tränad för att påverka bildgenereringsprocessen enligt vissa datatyper eller stilistiska preferenser. Eftersom funktionerna hos många T2IAdaptor-modeller nära överensstämmer med de hos ControlNet-modeller, kommer vårt fokus huvudsakligen att vara på ControlNet-modeller i vår efterföljande diskussion. Vi kommer dock också att lyfta fram några av de mer populära T2IAdaptorerna för fullständighetens skull.

Preprocessor: "image"-ingången måste vara ansluten till en "ControlNet Preprocessor"-nod, vilket är avgörande för att anpassa din bild för att uppfylla de specifika kraven hos den ControlNet-modell du använder. Det är nödvändigt att använda rätt preprocessor anpassad till din valda ControlNet-modell. Detta steg säkerställer att den ursprungliga bilden genomgår nödvändiga modifieringar — såsom justeringar i format, storlek, färg eller tillämpning av specifika filter — för att optimera den för ControlNets riktlinjer. Efter denna förbehandlingsfas ersätts den ursprungliga bilden med den modifierade versionen, som ControlNet sedan använder. Denna process garanterar att dina ingångsbilder är exakt förberedda för ControlNet-processen.

3.3. Utgångar från "Apply ControlNet"-noden

"Apply ControlNet"-noden genererar två viktiga utgångar: Positiv och negativ konditionering. Dessa utgångar, fyllda med de nyanserade effekterna av ControlNet och visuell vägledning, spelar en avgörande roll i att styra diffusionsmodellens beteende i ComfyUI. Därefter presenteras du med ett val: fortsätt till KSampler för samplingsfasen för att ytterligare putsa den genererade bilden, eller, för dem som strävar efter en ännu högre nivå av detalj och anpassning i sin skapelse, fortsätt att lägga till ytterligare ControlNets. Denna avancerade teknik att integrera fler ControlNets möjliggör en mer detaljerad manipulation av bildens attribut, vilket erbjuder ett förbättrat verktyg för skapare som strävar efter att uppnå oöverträffad precision och kontroll i sina visuella utgångar.

3.4. Parametrar för finjustering av "Apply ControlNet"

strength: Denna parameter bestämmer intensiteten av ControlNets effekt på den genererade bilden i ComfyUI. Ett värde på 1,0 innebär full styrka, vilket betyder att ControlNets vägledning kommer att ha maximal påverkan på diffusionsmodellens utgång. Omvänt innebär ett värde på 0,0 ingen påverkan, vilket i praktiken inaktiverar ControlNets effekt på bildgenereringsprocessen.

start_percent: Denna parameter specificerar startpunkten, som en procentandel av diffusionsprocessen, där ControlNet börjar påverka genereringen. Till exempel, att ställa in en startprocent på 20% innebär att ControlNets vägledning börjar påverka bildgenereringen från 20%-märket av diffusionsprocessen och framåt.

end_percent: Analogt med "Start Percent", definierar parametern "End Percent" punkten där ControlNets påverkan upphör. Till exempel, en slutprocent på 80% skulle innebära att ControlNets vägledning slutar påverka bildgenereringen vid 80% färdigställandemärke av diffusionsprocessen, vilket lämnar de sista faserna opåverkade.

Apply ControlNet in ComfyUI

4. Hur man använder ComfyUI ControlNet: Avancerade funktioner - Timestep Keyframes

Timestep Keyframes i ControlNet erbjuder sofistikerad kontroll över beteendet hos AI-genererat innehåll, särskilt när timing och progression är avgörande, såsom i animationer eller utvecklande visuella effekter. Här är en detaljerad genomgång av de viktigaste parametrarna för att hjälpa dig använda dem effektivt och intuitivt:

prev_timestep_kf: Tänk på prev_timestep_kf som att länka händer med keyframen som kommer före i en sekvens. Genom att koppla ihop keyframes skapar du en smidig övergång eller en storyboard som vägleder AI genom genereringsprocessen, steg för steg, vilket säkerställer att varje fas flyter logiskt in i nästa.

cn_weights: cn_weights är användbara för att finjustera utgången genom att justera specifika funktioner inom ControlNet under olika faser av genereringsprocessen.

latent_keyframe: latent_keyframe gör det möjligt att justera hur starkt varje del av AI-modellen påverkar slutresultatet under en viss fas av genereringsprocessen. Till exempel, om du genererar en bild där förgrunden ska bli mer detaljerad när processen utvecklas, kan du öka styrkan för de aspekter (latents) av modellen som ansvarar för förgrundsdetaljer i senare keyframes. Omvänt, om vissa funktioner ska tona bort i bakgrunden över tid, kan du minska deras styrka i efterföljande keyframes. Denna nivå av kontroll är särskilt användbar vid skapande av dynamiska, utvecklande visuella effekter eller i projekt där exakt timing och progression är avgörande.

mask_optional: Använd uppmärksamhetsmasker som strålkastare, fokusera ControlNets påverkan på specifika områden av din bild. Oavsett om det handlar om att framhäva en karaktär i en scen eller betona ett bakgrundselement, kan dessa masker antingen appliceras jämnt eller variera i intensitet, och rikta AI:s uppmärksamhet exakt dit du vill.

start_percent: start_percent markerar signalen för när din keyframe kommer i spel, mätt som en procentandel av den totala genereringsprocessen. Att ställa in detta är som att schemalägga en skådespelares entré på scenen, vilket säkerställer att de dyker upp vid precis rätt ögonblick i föreställningen.

strength: strength ger en hög nivå av kontroll över den övergripande påverkan av ControlNet.

null_latent_kf_strength: För alla skådespelare (latents) som du inte explicit har regisserat i denna scen (keyframe), fungerar null_latent_kf_strength som en standardinstruktion och talar om för dem hur de ska agera i bakgrunden. Det säkerställer att ingen del av genereringen lämnas utan vägledning, vilket upprätthåller en sammanhängande utgång även i områden du inte specifikt har adresserat.

inherit_missing: Att aktivera inherit_missing tillåter din nuvarande keyframe att anta alla ospecificerade inställningar från sin föregångare, som en yngre syskon som ärver kläder. Det är en användbar genväg som säkerställer kontinuitet och sammanhang utan att behöva upprepa instruktioner.

guarantee_usage: guarantee_usage är din garanti för att, oavsett vad, den nuvarande keyframen kommer att få sin tid att lysa i processen, även om det bara är för ett kort ögonblick. Det säkerställer att varje keyframe du har satt upp har en påverkan, och hedrar din detaljerade planering i att vägleda AI:s kreativa process.

Timestep Keyframes erbjuder den precision som behövs för att noggrant vägleda AI:s kreativa process, vilket gör det möjligt för dig att utforma berättelsen eller den visuella resan exakt som du föreställer dig den. De fungerar som ett kraftfullt verktyg för att orkestrera utvecklingen av visuella effekter, särskilt i animation, från öppningsscenen till avslutningen. Här är en närmare titt på hur Timestep Keyframes kan tillämpas strategiskt för att hantera progressionen av en animation, vilket säkerställer en sömlös övergång från den initiala ramen till den slutliga, perfekt i linje med dina konstnärliga mål.

ControlNet Timestep Keyframes in ComfyUI
Få tillgång till ComfyUI Workflow
Dyk direkt in i <AnimateDiff + ControlNet | Ceramic Art Style> arbetsflöde, fulladdat med alla viktiga kundnoder och modeller, vilket möjliggör sömlös kreativitet utan manuella inställningar!
Kom igång gratis

5. Olika ControlNet/T2IAdaptor-modeller: Detaljerad översikt

Eftersom funktionerna hos många T2IAdaptor-modeller nära överensstämmer med de hos ControlNet-modeller, kommer vårt fokus huvudsakligen att vara på ControlNet-modeller i vår efterföljande diskussion. Vi kommer dock också att lyfta fram några av de mer populära T2IAdaptorerna för fullständighetens skull.

5.1. ComfyUI ControlNet Openpose

  • Openpose (=Openpose body): Den grundläggande modellen inom ControlNet som identifierar grundläggande kroppspunkter som ögon, näsa, nacke, axlar, armbågar, handleder, knän och vrister. Den är idealisk för grundläggande mänsklig poseringsreplikation.
  • Openpose_face: Utökar OpenPose-modellen genom att lägga till ansiktspunktsdetektion, vilket erbjuder en mer detaljerad analys av ansiktsuttryck och orientering. Denna ControlNet-modell är nödvändig för projekt som fokuserar på ansiktsuttryck.
  • Openpose_hand: Förstärker OpenPose-modellen med kapaciteten att fånga intrikata detaljer om händer och fingrar, med fokus på detaljerade handgester och positioner. Detta tillägg förbättrar mångsidigheten hos OpenPose inom ControlNet.
  • Openpose_faceonly: En specialiserad modell för endast ansiktsdetaljer, utan kroppspunkter för att koncentrera sig på att fånga uttryck och ansiktsorienteringar. Denna modell inom ControlNet fokuserar uteslutande på ansiktsfunktioner.
  • Openpose_full: En omfattande sammanslagning av OpenPose, OpenPose_face och OpenPose_hand-modellerna, som erbjuder fullständig detektion av hela kroppen, ansiktet och händerna för total mänsklig poseringsreplikation inom ControlNet.
  • DW_Openpose_full: En förbättrad version av OpenPose_full-modellen, som inkluder ar ytterligare förbättringar för ännu mer detaljerad och noggrann poseringsdetektion. Denna version representerar toppnivån av poseringsdetektionsnoggrannhet inom ControlNet-ramverket.

Preprocessor: Openpose eller DWpose

ComfyUI ControlNet Openpose

5.2. ComfyUI ControlNet Tile

Tile Resample-modellen används för detaljförbättring i bilder. Den är särskilt användbar i kombination med en uppskalare för att förbättra bildupplösningen samtidigt som den lägger till finare detaljer, ofta använd för att skärpa och berika texturer och element inom en bild.

Preprocessor: Tile

ComfyUI ControlNet Tile

5.3. ComfyUI ControlNet Canny

Canny-modellen tillämpar Canny edge detection-algoritmen, en flerfasprocess för att detektera ett brett spektrum av kanter i bilder. Denna modell är fördelaktig för att bevara de strukturella aspekterna av en bild samtidigt som den förenklar dess visuella komposition, vilket gör den användbar för stiliserad konst eller förbearbetning innan ytterligare bildmanipulation.

Preprocessor: Canny

ComfyUI ControlNet Canny

5.4. ComfyUI ControlNet Depth

Depth-modeller tolkar djupinformation från en 2D-bild, översätter upplevt avstånd till en gråskalad djupkarta. Varje variant erbjuder en annan balans mellan detaljupptagning och bakgrundsbetoning:

  • Depth Midas: Ger en klassisk djupuppskattning, balanserar detaljer och bakgrundsrendering.
  • Depth Leres: Fokuserar på att förbättra detaljer med en tendens att inkludera fler bakgrundselement.
  • Depth Leres++: Erbjuder en avancerad detaljeringsnivå för djupinformation, idealisk för komplexa scener.
  • Zoe: Hittar en balans mellan Midas och Leres-modellerna när det gäller detaljnivå.
  • Depth Anything: En nyare, förbättrad modell för djupuppskattning, designad för en mängd olika scener.
  • Depth Hand Refiner: Speciellt designad för att förbättra handdetaljer i djupkartor, användbar för scener där handpositionering är kritisk.

Preprocessors: Depth_Midas, Depth_Leres, Depth_Zoe, Depth_Anything, MeshGraphormer_Hand_Refiner. Denna modell är mycket robust och kan arbeta på verkliga djupkartor från renderingsmotorer.

ComfyUI ControlNet Depth

5.5. ComfyUI ControlNet Lineart

Lineart-modeller konverterar bilder till stiliserade linjeteckningar, användbara för konstnärliga tolkningar eller som en bas för vidare kreativt arbete:

  • Lineart: Denna standardmodell konverterar bilder till stiliserade linjeteckningar, vilket erbjuder en mångsidig bas för olika konstnärliga eller kreativa projekt.
  • Lineart anime: Fokuserar på att generera anime-stil linjeteckningar, kännetecknade av rena och precisa linjer, vilket gör den lämplig för projekt som siktar på en anime-estetik.
  • Lineart realistic: Producerar linjeteckningar med en mer realistisk touch, fångar ämnets essens med större detaljrikedom, perfekt för projekt som kräver en livlik representation.
  • Lineart coarse: Levererar en mer uttalad linjeteckning med tyngre, djärvare linjer, vilket skapar en slående effekt som sticker ut, särskilt lämplig för djärva konstnärliga uttryck.

Preprocessor kan generera detaljerade eller grova linjeteckningar från bilder (Lineart och Lineart_Coarse)

ComfyUI ControlNet Lineart

5.6. ComfyUI ControlNet Scribbles

Scribble-modeller är designade för att omvandla bilder till en klotterliknande framtoning, som simulerar utseendet av handritade skisser. De är särskilt användbara för konstnärlig omformning eller som ett preliminärt steg i ett större designarbetsflöde:

  • Scribble: Designad för att konvertera bilder till detaljerade konstverk som simulerar handritade klotter eller skisser.
  • Scribble HED: Utnyttjar Holistically-Nested Edge Detection (HED) för att skapa konturer som liknar handritade skisser. Det rekommenderas för omfärgning och omformning av bilder, vilket ger en unik konstnärlig känsla till konstverket.
  • Scribble Pidinet: Fokuserar på att detektera pixeldifferenser för att producera renare linjer med reducerade detaljer, vilket gör den idealisk för klarare, mer abstrakta representationer. Scribble Pidinet är perfekt för dem som söker rena kurvor och raka linjer, vilket erbjuder ett polerat utseende samtidigt som väsentliga detaljer bevaras.
  • Scribble xdog: Använder metoden Extended Difference of Gaussian (xDoG) för kantdetektion. Detta möjliggör justerbara tröskelinställningar för att finjustera klottereffekten, vilket gör det möjligt att kontrollera detaljnivån i ditt konstverk. xDoG är mångsidig och möjliggör användare att hitta den perfekta balansen i sina konstnärliga skapelser.

Preprocessors: Scribble, Scribble_HED, Scribble_PIDI, och Scribble_XDOG

ComfyUI ControlNet Scribbles

5.7. ComfyUI ControlNet Segmentation

Segmenteringsmodeller kategoriserar bildpixlar i distinkta objektklasser, var och en representerad av en specifik färg. Detta är ovärderligt för att identifiera och manipulera individuella element inom en bild, såsom att separera förgrund från bakgrund eller differentiera objekt för detaljerad redigering.

  • Seg: Designad för att differentiera objekt inom en bild genom färg, effektivt översätta dessa skillnader till distinkta element i utgången. Till exempel kan den separera möbler i en rumsplan, vilket gör den särskilt värdefull för projekt som kräver precis kontroll över bildkomposition och redigering.
  • ufade20k: Utnyttjar UniFormer-segmenteringsmodellen tränad på ADE20K-datasetet, kapabel att skilja en bred mängd objekttyper med hög noggrannhet.
  • ofade20k: Använder OneFormer-segmenteringsmodellen, också tränad på ADE20K, vilket erbjuder en alternativ metod för objektdifferentiering med sina unika segmenteringsförmågor.
  • ofcoco: Utnyttjar OneFormer-segmentering tränad på COCO-datasetet, skräddarsydd för bilder med objekt kategoriserade inom COCO-datasetets parametrar, vilket underlättar precis objektidentifiering och manipulation.

Acceptabla preprocessorer: Sam, Seg_OFADE20K (Oneformer ADE20K), Seg_UFADE20K (Uniformer ADE20K), Seg_OFCOCO (Oneformer COCO), eller manuellt skapade masker.

ComfyUI ControlNet Segmentation

5.8. ComfyUI ControlNet Shuffle

Shuffle-modellen introducerar ett nytt tillvägagångssätt genom att slumpmässigt ändra attributen hos ingångsbilden, såsom färgscheman eller texturer, utan att ändra kompositionen. Denna modell är särskilt effektiv för kreativa utforskningar och generering av variationer av en bild med bibehållen strukturell integritet men förändrade visuella estetiker. Dess slumpmässiga natur innebär att varje utgång är unik, påverkad av det frövärde som används i genereringsprocessen.

Preprocessor: Shuffle

ComfyUI ControlNet Shuffle

5.9. ComfyUI ControlNet Inpainting

Inpainting-modeller inom ControlNet möjliggör förfinad redigering inom specifika områden av en bild, bibehåller övergripande sammanhang samtidigt som betydande variationer eller korrigeringar introduceras.

För att använda ControlNet Inpainting, börja med att isolera området du vill regenerera genom maskering. Detta kan göras genom att högerklicka på den önskade bilden och välja "Open in MaskEditor" för modifieringar.

ComfyUI ControlNet Inpainting MaskEditor

Till skillnad från andra implementationer inom ControlNet, kringgår Inpainting behovet av en preprocessor på grund av de direkta modifieringar som tillämpas på bilden. Det är dock viktigt att vidarebefordra den redigerade bilden till latentutrymmet via KSampler. Detta säkerställer att diffusionsmodellen fokuserar enbart på att regenerera det maskerade området, bibehåller integriteten hos de omaskerade områdena.

ComfyUI ControlNet Inpainting Model

5.10. ComfyUI ControlNet MLSD

M-LSD (Mobile Line Segment Detection) fokuserar på att detektera raka linjer, idealisk för bilder med starka arkitektoniska element, interiörer och geometriska former. Den förenklar scener till deras strukturella essens, vilket underlättar kreativa projekt som involverar människoskapade miljöer.

Preprocessor: MLSD.

ComfyUI ControlNet MLSD

5.11. ComfyUI ControlNet Normalmaps

Normalmaps möjliggör simulering av komplexa ljus- och texteffekter genom att modellera orienteringen av ytor i en visuell scen, snarare än att förlita sig på färgdata ensam. Detta är kritiskt för 3D-modellering och simulering.

  • Normal Bae: Denna metod genererar normal maps genom att utnyttja normal uncertainty-metoden. Det ger en innovativ teknik för att avbilda orienteringen av ytor, vilket förbättrar simuleringen av ljuseffekter baserat på den fysiska geometrin av den modellerade scenen snarare än konventionella färgbaserade metoder.
  • Normal Midas: Genom att använda djupkartor producerade av Midas-modellen, uppskattar Normal Midas noggrant normal maps. Denna metod möjliggör en nyanserad simulering av ytors texturer och ljussättning, baserad på djupinformationen i scenen, vilket berikar den visuella komplexiteten i 3D-modeller.

Preprocessors: Normal BAE, Normal Midas

ComfyUI ControlNet Normalmaps

5.12. ComfyUI ControlNet Soft Edge

ControlNet Soft Edge är designad för att generera bilder med mjukare kanter, med fokus på detaljkontroll och naturligt utseende. Den använder avancerade neurala nätverkstekniker för precis bildmanipulation, vilket erbjuder större kreativ frihet och sömlösa blandningsmöjligheter.

Robusthet: SoftEdge_PIDI_safe > SoftEdge_HED_safe >> SoftEdge_PIDI > SoftEdge_HED

Maximal resultatkvalitet: SoftEdge_HED > SoftEdge_PIDI > SoftEdge_HED_safe > SoftEdge_PIDI_safe

Med tanke på avvägningen rekommenderar vi att använda SoftEdge_PIDI som standard. I de flesta fall fungerar det mycket bra.

Preprocessors: SoftEdge_PIDI, SoftEdge_PIDI_safe, SoftEdge_HED, SoftEdge_HED_safe.

ComfyUI ControlNet SoftEdge

5.13. ComfyUI ControlNet IP2P (Instruct Pix2Pix)

ControlNet IP2P (Instruct Pix2Pix)-modellen utmärker sig som en unik anpassning inom ControlNet-ramverket, skräddarsydd för att utnyttja Instruct Pix2Pix-datasetet för bildtransformationer. Denna ControlNet-variant skiljer sig genom att balansera mellan instruktionpromptar och beskrivningspromptar under sin träningsfas. Till skillnad från det konventionella tillvägagångssättet i officiell Instruct Pix2Pix, inkorporerar ControlNet IP2P en 50/50-mix av dessa prompttyper, vilket förbättrar dess mångsidighet och effektivitet i att generera önskade utgångar.

ComfyUI ControlNet IP2P

5.14. ComfyUI T2I Adapter

t2iadapter color: t2iadapter_color-modellen är specifikt designad för att förbättra färgrepresentation och noggrannhet i genererade bilder när man använder text-till-bild-diffusionsmodeller. Genom att fokusera på färganpassning, tillåter denna modell en mer exakt och levande färgpalett, nära anpassad till beskrivningarna som ges i textpromptarna. Den är särskilt användbar för projekt där färgtrohet och specificitet är avgörande, vilket tillför en ny nivå av realism och detalj till de genererade bilderna.

t2iadapter style: t2iadapter_style-modellen riktar sig mot de stilistiska aspekterna av bildgenerering, vilket möjliggör modifiering och kontroll över den konstnärliga stilen i utgångsbilderna. Denna adapter tillåter användare att styra text-till-bild-modellen mot att generera bilder som följer specifika konstnärliga stilar eller estetik som beskrivs i textpromptarna. Det är ett ovärderligt verktyg för kreativa projekt där bildens stil spelar en avgörande roll, vilket erbjuder ett sömlöst sätt att blanda traditionella konststilar med moderna AI-kapaciteter.

5.15. Andra populära ComfyUI ControlNet: QRCode Monster och IP-Adapter

För dessa segment kommer vi att ägna separata artiklar för att ge en grundlig introduktion till var och en, med tanke på den omfattande mängden information vi vill dela.

6. Hur man använder flera ComfyUI ControlNets

Att använda flera ComfyUI ControlNets i ComfyUI innebär en process av lager- eller kedjeanslutning av ControlNet-modeller för att förfina bildgenereringen med mer precisa kontroller över olika aspekter som pose, form, stil och färg.

Således kan du bygga ditt arbetsflöde genom att tillämpa en ControlNet (t.ex. OpenPose) och sedan mata dess utgång till en annan ControlNet (t.ex. Canny). Denna lagerapplikation möjliggör detaljerad anpassning av bilden, där varje ControlNet applicerar sina specifika transformationer eller kontroller. Processen möjliggör en förfinad kontroll över den slutliga utgången, integrerande flera aspekter guidade av olika ControlNets.

🌟🌟🌟 ComfyUI Online - Upplev ControlNet Workflow nu 🌟🌟🌟

Om du är intresserad av att utforska ControlNet-arbetsflödet, använd följande ComfyUI web. Den är fullt utrustad med alla nödvändiga kundnoder och modeller, vilket möjliggör sömlös kreativitet utan behov av manuella inställningar. Få praktisk erfarenhet och bekanta dig med ControlNets funktioner nu!

För mer avancerade och premium ComfyUI-arbetsflöden, besök vår 🌟ComfyUI Workflow List🌟

RunComfy

© Copyright 2024 RunComfy. Alla Rättigheter Förbehållna.

RunComfy är den främsta ComfyUI plattform, som erbjuder ComfyUI online miljö och tjänster, tillsammans med ComfyUI arbetsflöden med fantastiska visuella.