FLUX ControlNet Depth-V3 & Canny-V3

FLUX är en ny bildgenereringsmodell utvecklad av , FLUX-ControlNet-Depth och FLUX-ControlNet-Canny-modellerna skapades av XLabs AI-teamet. Detta ComfyUI FLUX ControlNet-arbetsflöde skapades också av XLabs AI-teamet. För mer detaljer, vänligen besök . All kredit går till deras bidrag.

Om FLUX

FLUX-modellerna är förladdade på RunComfy, namngivna flux/flux-schnell och flux/flux-dev.

• När du startar en RunComfy Medium-Sized Machine: Välj checkpoint flux-schnell, fp8 och clip t5_xxl_fp8 för att undvika minnesproblem.
• När du startar en RunComfy Large-Sized eller Above Machine: Välj en stor checkpoint flux-dev, default och en hög clip t5_xxl_fp16.

För mer detaljer, besök: 

🌟Följande FLUX-ControlNet-arbetsflöde är specifikt designat för  modellen.🌟

Om FLUX-ControlNet-arbetsflöde (FLUX-ControlNet-Depth-V3 och FLUX-ControlNet-Canny-V3)

Vi presenterar två exceptionella FLUX-ControlNet-arbetsflöden: FLUX-ControlNet-Depth och FLUX-ControlNet-Canny, som var och en erbjuder unika möjligheter att förbättra din kreativa process.

1. Hur man använder ComfyUI FLUX-ControlNet-Depth-V3 arbetsflöde

FLUX-ControlNet Depth-modellen laddas först med hjälp av "LoadFluxControlNet"-noden. Välj modellen "flux-depth-controlnet.safetensors" för optimal djupkontroll.

• flux-depth-controlnet
• flux-depth-controlnet-v2
• flux-depth-controlnet-v3: ControlNet är tränad på 1024x1024 upplösning och fungerar för 1024x1024 upplösning, med bättre och realistisk version

Anslut utgången från denna nod till "ApplyFluxControlNet"-noden. Anslut även din djupkarta till bildingången på denna nod. Djupkartan bör vara en gråskalebild där närmare objekt är ljusare och avlägsna objekt är mörkare, vilket gör att FLUX-ControlNet kan tolka djupinformationen korrekt.

Du kan generera djupkartan från en inmatningsbild med hjälp av en djupestimeringsmodell. Här används "MiDaS-DepthMapPreprocessor"-noden för att konvertera den laddade bilden till en djupkarta som är lämplig för FLUX-ControlNet. Nyckelparametrar:

• Tröskelvärde = 6.28 (påverkar känsligheten för kanter)
• Djupskala = 0.1 (mängden djupkartan värden skalas med)
• Utgångsstorlek = 768 (upplösning av djupkarta)

I "ApplyFluxControlNet"-noden bestämmer styrkeparametern hur mycket den genererade bilden påverkas av FLUX-ControlNet djupkonditionering. Högre styrka gör att utgången följer djupstrukturen mer noggrant.

2. Hur man använder ComfyUI FLUX-ControlNet-Canny-V3 arbetsflöde

Processen är mycket lik FLUX-ControlNet-Depth arbetsflöde. Först laddas FLUX-ControlNet Canny-modellen med "LoadFluxControlNet". Sedan ansluts den till "ApplyFluxControlNet"-noden.

• flux-canny-controlnet
• flux-canny-controlnet-v2
• flux-canny-controlnet-v3: ControlNet är tränad på 1024x1024 upplösning och fungerar för 1024x1024 upplösning, med bättre och realistisk version

Inmatningsbilden konverteras till en Canny kantkarta med hjälp av "CannyEdgePreprocessor"-noden, optimerad för FLUX-ControlNet. Nyckelparametrar:

• Låg tröskelvärde = 100 (kantintensitetströskel)
• Hög tröskelvärde = 200 (hysteres tröskel för kanter)
• Storlek = 832 (kantkarta upplösning)

Den resulterande Canny kantkartan ansluts till "ApplyFluxControlNet"-noden. Återigen, använd styrkeparametern för att kontrollera hur mycket kantkartan påverkar FLUX-ControlNet-genereringen.

3. Både för ComfyUI FLUX-ControlNet-Depth-V3 och ComfyUI FLUX-ControlNet-Canny-V3

I båda FLUX-ControlNet-arbetsflödena ansluts den CLIP-kodade textprompten för att driva bildinnehållet, medan FLUX-ControlNet-konditioneringen kontrollerar strukturen och geometrin baserat på djup- eller kantkartan.

Genom att kombinera olika FLUX-ControlNets, inmatningsmodaliteter som djup och kanter, och justera deras styrka, kan du uppnå finjusterad kontroll över både det semantiska innehållet och strukturen i de bilder som genereras av FLUX-ControlNet.

Licens: controlnet.safetensors faller under  icke-kommersiell licens

Licens

Visa licensfiler:

FLUX.1 [dev] modellen är licensierad av Black Forest Labs. Inc. under FLUX.1 [dev] icke-kommersiell licens. Upphovsrätt Black Forest Labs. Inc.

UNDER INGA OMSTÄNDIGHETER SKALL BLACK FOREST LABS, INC. VARA ANSVARIGA FÖR NÅGOT ANSPRÅK, SKADOR ELLER ANDRA ANSVAR, VARE SIG I KONTRAKT, TORT ELLER ANNAT, SOM UPPSTÅR FRÅN, UR ELLER I SAMBAND MED ANVÄNDNINGEN AV DENNA MODELL.