FLUX LoRA Trening

FLUX LoRA har oppnådd stor popularitet i AI-samfunnet, spesielt blant de som ønsker å finjustere AI-modeller med sine egne datasett. Denne tilnærmingen lar deg enkelt tilpasse eksisterende FLUX-modeller til dine unike datasett, noe som gjør det svært tilpassbart og effektivt for en rekke kreative prosjekter. Hvis du allerede er kjent med ComfyUI, vil det være en lek å bruke ComfyUI FLUX LoRA Treningsarbeidsflyten for å trene din FLUX LoRA-modell. Arbeidsflyten og relaterte noder ble laget av Kijai, så stor takk til ham for hans bidrag! Sjekk ut for mer info.

ComfyUI FLUX LoRA Treningsveiledning

ComfyUI FLUX LoRA Treningsarbeidsflyten er en kraftig prosess designet for å trene FLUX LoRA-modeller. Trening med ComfyUI tilbyr flere fordeler, spesielt for brukere som allerede er kjent med grensesnittet. Med FLUX LoRA Trening kan du bruke de samme modellene som brukes til inferens, og sikre at det ikke oppstår kompatibilitetsproblemer når du arbeider i samme Python-miljø. I tillegg kan du bygge arbeidsflyter for å sammenligne forskjellige innstillinger, noe som forbedrer treningsprosessen din. Denne veiledningen vil lede deg gjennom trinnene for å sette opp og bruke FLUX LoRA Trening i ComfyUI.

Vi vil dekke:

1. Forberedelse av datasettet ditt for FLUX LoRA Trening
2. FLUX LoRA Treningsprosessen
3. Gjennomføring av FLUX LoRA Trening
4. Hvordan og hvor du kan bruke FLUX og FLUX LoRA-modellene

1. Forberedelse av datasettet ditt for FLUX LoRA Trening

Når du forbereder treningsdataene dine for FLUX LoRA Trening, er det viktig å ha bilder av høy kvalitet for målemnet ditt.

I dette eksempelet trener vi en FLUX LoRA-modell for å generere bilder av en spesifikk influencer. For dette trenger du et sett med bilder av høy kvalitet av influenceren i forskjellige positurer og omgivelser. En praktisk måte å samle disse bildene på er ved å bruke , som gjør det enkelt å generere en samling bilder som viser den samme karakteren i forskjellige positurer samtidig som deres utseende forblir konsistent. For vårt treningsdatasett har vi valgt fem bilder av høy kvalitet av influenceren i forskjellige positurer og omgivelser, noe som sikrer at datasettet er robust nok for FLUX LoRA Trening til å lære de intrikate detaljene som trengs for å produsere konsistente og nøyaktige resultater.

Prosess for å skaffe treningsdata

Eksempel på treningsdata

Du kan også samle ditt eget datasett basert på dine spesifikke behov——FLUX LoRA Trening er fleksibel og fungerer med forskjellige typer data.

2. FLUX LoRA Treningsprosessen

FLUX LoRA Treningsarbeidsflyten består av flere viktige noder som samarbeider for å trene og validere modellen din. Her er en detaljert oversikt over hovednodene, delt inn i tre deler: Datasett, Innstillinger og Init, og Trening.

2.1. Sett datasett for FLUX LoRA Trening

Datasettseksjonen består av to essensielle noder som hjelper deg med å konfigurere og tilpasse treningsdataene dine: TrainDatasetGeneralConfig og TrainDatasetAdd.

2.1.1. TrainDatasetGeneralConfig

TrainDatasetGeneralConfig-noden er der du definerer de generelle innstillingene for treningsdatasettet ditt i FLUX LoRA Trening. Denne noden gir deg kontroll over ulike aspekter av data-augmentering og forhåndsbehandling. For eksempel kan du velge å aktivere eller deaktivere fargeaugmentering, som kan bidra til å forbedre modellens evne til å generalisere over forskjellige fargevariasjoner. På samme måte kan du aktivere flip augmentering for å tilfeldig snu bilder horisontalt, og dermed gi mer varierte treningsprøver. I tillegg har du muligheten til å blande bildetekstene som er knyttet til hvert bilde, noe som introduserer tilfeldighet og reduserer overtilpasning. Bildetekstdropraten lar deg tilfeldig fjerne bildetekster under trening, noe som kan hjelpe modellen til å bli mer robust mot manglende eller ufullstendige bildetekster.

2.1.2. TrainDatasetAdd

TrainDatasetAdd-noden er der du spesifiserer detaljene for hvert enkelt datasett som skal inkluderes i din FLUX LoRA Trening.

Inngangskatalog: Treningsdatasettsti

For å få mest mulig ut av denne noden er det viktig å organisere treningsdataene dine riktig. Når du bruker RunComfy’s filleser, plasser treningsdataene i katalogen /home/user/ComfyUI/input/{file-name}, der {file-name} er et meningsfylt navn du gir datasettet ditt.

Når du har plassert treningsdataene dine i riktig katalog, må du oppgi stien til den katalogen i parameteren image_dir for TrainDatasetAdd-noden. Dette forteller noden hvor den skal finne treningsbildene dine.

Klassifikasjonstoken

Hvis datasettet ditt har nytte av å bruke spesifikke klassifikasjonstoken eller utløserord, kan du angi dem i parameteren class_tokens. Klassifikasjonstoken er spesielle ord eller fraser som legges til hver bildetekst og hjelper med å veilede modellens genereringsprosess. For eksempel, hvis du trener på et datasett med forskjellige dyrearter, kan du bruke klassifikasjonstoken som "dog", "cat" eller "bird" for å indikere ønsket dyr i de genererte bildene. Når du senere bruker disse klassifikasjonstokenene i dine oppfordringer, kan du kontrollere hvilke spesifikke aspekter du vil at modellen skal generere.

Sett oppløsningen (bredde og høyde), batch-størrelse

I tillegg til parametrene image_dir og class_tokens, gir TrainDatasetAdd-noden flere andre alternativer for å finjustere datasettet ditt. Du kan sette oppløsningen (bredde og høyde) på bildene, spesifisere batch-størrelsen for trening, og bestemme hvor mange ganger datasettet skal gjentas per epoke.

Flere datasett

En av de kraftige funksjonene til FLUX LoRA Trening er evnen til sømløst å kombinere flere datasett. I FLUX LoRA Treningsarbeidsflyten er det tre TrainDatasetAdd-noder koblet i rekkefølge. Hver node representerer et eget datasett med sine egne unike innstillinger. Ved å koble disse nodene sammen, kan du lage et rikt og variert treningssett som inneholder bilder og bildetekster fra forskjellige kilder.

For å illustrere dette, la oss vurdere et scenario der du har tre separate datasett: ett for katter, ett for hunder og ett for bjørner. Du kan sette opp tre TrainDatasetAdd-noder, hver dedikert til ett av disse datasettene. I den første noden vil du spesifisere stien til "cats"-datasettet i parameteren image_dir, sette class token til "cat," og justere andre parametere som oppløsning og batch-størrelse etter behov. På samme måte vil du konfigurere den andre og tredje noden for datasettene "dogs" og "bears".

Denne tilnærmingen lar FLUX LoRA Treningsprosessen utnytte et variert utvalg av bilder, noe som forbedrer modellens evne til å generalisere over forskjellige kategorier.

Eksempel

I vårt eksempel bruker vi bare ett datasett for å trene modellen, så vi aktiverer en TrainDatasetAdd-node og omgår de to andre. Slik kan du sette det opp:

2.2. Innstillinger og Initialisering

Innstillings- og Initialiseringsseksjonen er der du konfigurerer de viktigste komponentene og parameterne for FLUX LoRA Trening. Denne seksjonen inkluderer flere essensielle noder som samarbeider for å sette opp treningsmiljøet ditt.

2.2.1. FluxTrainModelSelect

Først har du FluxTrainModelSelect-noden, som er ansvarlig for å velge FLUX-modellene som skal brukes under FLUX LoRA Trening. Denne noden lar deg spesifisere stiene til fire kritiske modeller: transformatoren, VAE (Variational Autoencoder), CLIP_L (Contrastive Language-Image Pre-training), og T5 (Text-to-Text Transfer Transformer). Disse modellene danner ryggraden i FLUX treningsprosessen, og alle er satt opp på RunComfy-plattformen.

2.2.2. OptimizerConfig

OptimizerConfig-noden er avgjørende for å sette opp optimalisatoren i FLUX LoRA Trening, som bestemmer hvordan modellens parametere oppdateres under trening. Du kan velge optimalisatortype (f.eks. AdamW, CAME), sette maksimal gradientnorm for gradientklipping for å forhindre eksploderende gradienter, og velge læringsrateplanlegger (f.eks. konstant, kosinavkjøling). I tillegg kan du finjustere optimalisatorspesifikke parametere som oppvarmingstrinn og planleggerkraft, og gi ekstra argumenter for ytterligere tilpasning.

Hvis du foretrekker Adafactor-optimalisatoren, kjent for sin minneeffektivitet og evne til å håndtere store modeller, kan du bruke OptimizerConfigAdafactor-noden i stedet.

2.2.3. InitFluxLoRATraining

InitFluxLoRATraining-noden er det sentrale knutepunktet der alle de essensielle komponentene konvergerer for å starte FLUX LoRA Treningsprosessen.

Utgangskatalog: FLUX LoRA Sti

En av de viktigste tingene du må spesifisere i InitFluxLoRATraining-noden er utgangskatalogen, der den trente modellen din vil bli lagret. På RunComfy-plattformen kan du velge /home/user/ComfyUI/output/{file_name} som plassering for utdataene dine. Når treningen er fullført, vil du kunne se den i fillesen.

Nettverksdimensjoner og læringsrater

Deretter vil du sette nettverksdimensjonene og læringsratene. Nettverksdimensjonene bestemmer størrelsen og kompleksiteten til LoRA-nettverket ditt, mens læringsratene kontrollerer hvor raskt modellen din lærer og tilpasser seg.

Maks treningssteg

En annen viktig parameter å vurdere er max_train_steps. Det bestemmer hvor lenge du vil at treningsprosessen skal vare, eller med andre ord, hvor mange steg du vil at modellen din skal ta før den er fullt "bakt". Du kan justere denne verdien basert på dine spesifikke behov og størrelsen på datasettet ditt. Det handler om å finne den perfekte balansen der modellen din har lært nok til å produsere imponerende resultater!

2.3.4. FluxTrainValidationSettings

Til slutt lar FluxTrainValidationSettings-noden deg konfigurere valideringsinnstillingene for å evaluere modellens ytelse under FLUX LoRA Treningsprosessen. Du kan sette antall valideringstrinn, bildestørrelse, veiledningsskala og frø for reproduserbarhet. I tillegg kan du velge tidsstegprøvetakingsmetoden og justere sigmoid-skalaen og skiftparameterne for å kontrollere tidsstegplanleggingen og forbedre kvaliteten på de genererte bildene.

3. Trening

Treningsseksjonen i FLUX LoRA Trening er der magien skjer. Den er delt inn i fire deler: Train_01, Train_02, Train_03 og Train_04. Hver av disse delene representerer et annet stadium i FLUX LoRA Treningsprosessen, slik at du gradvis kan finjustere og forbedre modellen din.

3.1. Train_01

La oss starte med Train_01. Dette er der den innledende treningsløkken finner sted. Stjernen i denne seksjonen er FluxTrainLoop-noden, som er ansvarlig for å gjennomføre treningsløkken for et spesifisert antall trinn. I dette eksempelet har vi satt den til 250 trinn, men du kan justere dette basert på dine behov. Når treningsløkken er fullført, blir den trente modellen sendt til FluxTrainSave-noden, som lagrer modellen med jevne mellomrom. Dette sikrer at du har sjekkpunkter av modellen din på forskjellige stadier av treningen, som kan være nyttige for å spore fremgang og gjenopprette fra eventuelle uventede avbrudd.

Men trening handler ikke bare om å lagre modellen. Vi må også validere ytelsen for å se hvor godt den gjør det. Det er her FluxTrainValidate-noden kommer inn. Den tar den trente modellen og setter den på prøve ved hjelp av et valideringsdatasett. Dette datasettet er adskilt fra treningsdataene og hjelper til med å vurdere hvor godt modellen generaliserer til usette eksempler. FluxTrainValidate-noden genererer eksempelbilder basert på valideringsdataene, og gir deg en visuell representasjon av modellens utdata på dette stadiet.

For å holde øye med treningsfremgangen har vi VisualizeLoss-noden. Denne praktiske noden visualiserer treningsfeilen over tid, slik at du kan se hvor godt modellen lærer og om den konvergerer mot en god løsning. Det er som å ha en personlig trener som holder oversikt over fremgangen din og hjelper deg å holde deg på sporet.

3.2. Train_02, Train_03, Train_04

I Train_02, som fortsetter fra Train_01 i FLUX LoRA Treningen, blir utdataene videre trent i et spesifisert antall trinn (f.eks. 250 trinn). Train_03 og Train_04 følger et lignende mønster og forlenger treningen med oppdaterte tilkoblinger for en jevn progresjon. Hvert stadium gir en FLUX LoRA-modell, slik at du kan teste og sammenligne ytelsen.

Eksempel

I vårt eksempel har vi valgt å bruke bare Train_01 og Train_02, hver med 250 trinn. Vi har forbigått Train_03 og Train_04 for nå. Men føl deg fri til å eksperimentere og justere antall treningsseksjoner og trinn basert på dine spesifikke behov og ressurser.

4. Hvordan og hvor du kan bruke FLUX og FLUX LoRA-modellene

Når du har FLUX LoRA-modellen, kan du inkorporere den i . Erstatt den eksisterende LoRA-modellen med din trente modell, og test deretter resultatene for å evaluere ytelsen.

Eksempel

I vårt eksempel bruker vi FLUX LoRA arbeidsflyten for å generere flere bilder av influenceren ved å bruke FLUX LoRA-modellen og observere ytelsen.

Lisens

Vis lisensfiler:

FLUX.1 [dev] Modellen er lisensiert av Black Forest Labs. Inc. under FLUX.1 [dev] Non-Commercial License. Copyright Black Forest Labs. Inc.

IN NO EVENT SHALL BLACK FOREST LABS, INC. BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH USE OF THIS MODEL.