FLUX LoRA Training

FLUX LoRA heeft enorme populariteit verworven in de AI-gemeenschap, vooral onder degenen die AI-modellen willen afstemmen met hun eigen datasets. Deze aanpak stelt u in staat om bestaande FLUX-modellen moeiteloos aan te passen aan uw unieke datasets, waardoor het zeer aanpasbaar en efficiënt is voor een breed scala aan creatieve inspanningen. Als u al bekend bent met ComfyUI, zal het gebruik van de ComfyUI FLUX LoRA Training workflow om uw FLUX LoRA-model te trainen een fluitje van een cent zijn. De workflow en gerelateerde knooppunten zijn gemaakt door Kijai, dus grote dank aan hem voor zijn bijdrage! Kijk op voor meer info.

ComfyUI FLUX LoRA Training Tutorial

De ComfyUI FLUX LoRA Training workflow is een krachtig proces ontworpen voor het trainen van FLUX LoRA-modellen. Training met ComfyUI biedt verschillende voordelen, vooral voor gebruikers die al bekend zijn met de interface. Met FLUX LoRA Training kunt u dezelfde modellen gebruiken die worden gebruikt voor inferentie, waardoor er geen compatibiliteitsproblemen zijn bij het werken binnen dezelfde Python-omgeving. Bovendien kunt u workflows bouwen om verschillende instellingen te vergelijken, waardoor uw trainingsproces wordt verbeterd. Deze tutorial zal u begeleiden door de stappen om FLUX LoRA Training in ComfyUI op te zetten en te gebruiken.

We zullen behandelen:

1. Uw Dataset Voorbereiden voor FLUX LoRA Training
2. Het FLUX LoRA Trainingsproces
3. Het Uitvoeren van FLUX LoRA Training
4. Hoe en Waar de FLUX en FLUX LoRA Modellen te Gebruiken

1. Uw Dataset Voorbereiden voor FLUX LoRA Training

Bij het voorbereiden van uw trainingsgegevens voor FLUX LoRA Training is het essentieel om hoogwaardige afbeeldingen te hebben van uw doelonderwerp.

In dit voorbeeld trainen we een FLUX LoRA-model om afbeeldingen te genereren van een specifieke influencer. Hiervoor heeft u een set hoogwaardige afbeeldingen van de influencer nodig in verschillende poses en instellingen. Een handige manier om deze afbeeldingen te verzamelen is door gebruik te maken van de , die het eenvoudig maakt om een verzameling afbeeldingen te genereren die hetzelfde personage in verschillende poses laten zien terwijl hun uiterlijk consistent blijft. Voor onze trainingsdataset hebben we vijf hoogwaardige afbeeldingen van de influencer geselecteerd in verschillende poses en instellingen, zodat de dataset robuust genoeg is voor FLUX LoRA Training om de ingewikkelde details te leren die nodig zijn om consistente en nauwkeurige outputs te produceren.

Proces voor het Verkrijgen van Trainingsgegevens

Voorbeeld van Trainingsgegevens

U kunt ook uw eigen dataset verzamelen op basis van uw specifieke behoeften——FLUX LoRA Training is flexibel en werkt met verschillende soorten gegevens.

2. Het FLUX LoRA Trainingsproces

De FLUX LoRA Training workflow bestaat uit verschillende belangrijke knooppunten die samenwerken om uw model te trainen en te valideren. Hier is een gedetailleerd overzicht van de belangrijkste knooppunten, onderverdeeld in drie delen: Dataset, Instellingen en Init, en Training.

2.1. Stel Datasets in voor FLUX LoRA Training

Het Dataset-gedeelte bestaat uit twee essentiële knooppunten die u helpen bij het configureren en aanpassen van uw trainingsgegevens: TrainDatasetGeneralConfig en TrainDatasetAdd.

2.1.1. TrainDatasetGeneralConfig

Het TrainDatasetGeneralConfig knooppunt is waar u de algemene instellingen voor uw trainingsdataset definieert in FLUX LoRA Training. Dit knooppunt geeft u controle over verschillende aspecten van gegevensverrijking en preprocessing. Bijvoorbeeld, u kunt ervoor kiezen om kleurverrijking in of uit te schakelen, wat kan helpen de mogelijkheid van het model te verbeteren om te generaliseren over verschillende kleurvariaties. Evenzo kunt u flip-verrijking inschakelen om afbeeldingen willekeurig horizontaal te spiegelen, waardoor meer diverse trainingsmonsters worden verstrekt. Bovendien heeft u de optie om de bijschriften te schudden die aan elke afbeelding zijn gekoppeld, waardoor willekeur wordt geïntroduceerd en overfitting wordt verminderd. Het bijschrift-uitvalpercentage stelt u in staat om bijschriften willekeurig te laten uitvallen tijdens de training, wat kan helpen het model robuuster te maken voor ontbrekende of onvolledige bijschriften.

2.1.2. TrainDatasetAdd

Het TrainDatasetAdd knooppunt is waar u de details van elke afzonderlijke dataset specificeert die u wilt opnemen in uw FLUX LoRA Training.

Invoermap: Train Dataset Path

Om het meeste uit dit knooppunt te halen, is het belangrijk om uw trainingsgegevens goed te organiseren. Bij gebruik van de file browser van RunComfy plaatst u de trainingsgegevens in de /home/user/ComfyUI/input/{file-name} directory, waar {file-name} een betekenisvolle naam is die u aan uw dataset toewijst.

Nadat u uw trainingsgegevens in de juiste directory hebt geplaatst, moet u het pad naar die directory opgeven in de image_dir parameter van het TrainDatasetAdd knooppunt. Dit vertelt het knooppunt waar het uw trainingsafbeeldingen kan vinden.

Class Token

Als uw dataset baat heeft bij het gebruik van specifieke class tokens of triggerwoorden, kunt u deze invoeren in de class_tokens parameter. Class tokens zijn speciale woorden of zinnen die worden toegevoegd aan elk bijschrift en helpen bij het sturen van het generatieproces van het model. Als u bijvoorbeeld traint op een dataset van verschillende diersoorten, kunt u class tokens zoals "dog", "cat" of "bird" gebruiken om het gewenste dier in de gegenereerde afbeeldingen aan te geven. Wanneer u deze class tokens later in uw prompts gebruikt, kunt u bepalen welke specifieke aspecten u door het model wilt laten genereren.

Stel de resolutie (breedte en hoogte), batchgrootte in

Naast de image_dir en class_tokens parameters biedt het TrainDatasetAdd knooppunt verschillende andere opties om uw dataset fijn af te stemmen. U kunt de resolutie (breedte en hoogte) van de afbeeldingen instellen, de batchgrootte voor training specificeren en bepalen hoe vaak de dataset per epoch moet worden herhaald.

Meerdere datasets

Een van de krachtige functies van FLUX LoRA Training is de mogelijkheid om meerdere datasets naadloos te combineren. In de FLUX LoRA Training workflow zijn er drie TrainDatasetAdd knooppunten die in volgorde zijn verbonden. Elk knooppunt vertegenwoordigt een afzonderlijke dataset met zijn eigen unieke instellingen. Door deze knooppunten met elkaar te verbinden, kunt u een rijke en diverse trainingsset creëren die afbeeldingen en bijschriften uit verschillende bronnen bevat.

Om dit te illustreren, laten we een scenario overwegen waarin u drie afzonderlijke datasets hebt: één voor katten, één voor honden en een andere voor beren. U kunt drie TrainDatasetAdd knooppunten instellen, elk gewijd aan een van deze datasets. In het eerste knooppunt zou u het pad naar de "cats" dataset specificeren in de image_dir parameter, de class token instellen op "cat," en andere parameters zoals resolutie en batchgrootte aanpassen aan uw behoeften. Evenzo zou u de tweede en derde knooppunten configureren voor de "dogs" en "bears" datasets, respectievelijk.

Deze aanpak stelt het FLUX LoRA Training proces in staat om een diverse reeks afbeeldingen te benutten, waardoor het vermogen van het model om te generaliseren over verschillende categorieën wordt verbeterd.

Voorbeeld

In ons voorbeeld gebruiken we slechts één dataset om het model te trainen, dus we activeren één TrainDatasetAdd knooppunt en omzeilen de andere twee. Hier is hoe u het kunt instellen:

2.2. Instellingen en Initialisatie

Het gedeelte Instellingen en Initialisatie is waar u de belangrijkste componenten en parameters voor FLUX LoRA Training configureert. Dit gedeelte bevat verschillende essentiële knooppunten die samenwerken om uw trainingsomgeving op te zetten.

2.2.1. FluxTrainModelSelect

Ten eerste hebt u het FluxTrainModelSelect knooppunt, dat verantwoordelijk is voor het selecteren van de FLUX-modellen die tijdens FLUX LoRA Training zullen worden gebruikt. Dit knooppunt stelt u in staat om de paden op te geven naar vier kritieke modellen: de transformer, VAE (Variational Autoencoder), CLIP_L (Contrastive Language-Image Pre-training), en T5 (Text-to-Text Transfer Transformer). Deze modellen vormen de ruggengraat van het FLUX trainingsproces en zijn allemaal ingesteld op het RunComfy platform.

2.2.2. OptimizerConfig

Het OptimizerConfig knooppunt is cruciaal voor het instellen van de optimizer binnen FLUX LoRA Training, die bepaalt hoe de parameters van het model worden bijgewerkt tijdens de training. U kunt het type optimizer kiezen (bijv. AdamW, CAME), de maximale gradient norm instellen voor gradient clipping om het exploderen van gradients te voorkomen, en de learning rate scheduler selecteren (bijv. constant, cosine annealing). Bovendien kunt u optimizer-specifieke parameters zoals warmup-stappen en scheduler power fijn afstellen, en extra argumenten opgeven voor verdere aanpassing.

Als u de voorkeur geeft aan de Adafactor optimizer, bekend om zijn geheugenefficiëntie en vermogen om met grote modellen om te gaan, kunt u in plaats daarvan het OptimizerConfigAdafactor knooppunt gebruiken.

2.2.3. InitFluxLoRATraining

Het InitFluxLoRATraining knooppunt is het centrale knooppunt waar alle essentiële componenten samenkomen om het FLUX LoRA Trainingsproces te starten.

Output directory: FLUX LoRA Path

Een van de belangrijkste dingen die u moet specificeren in het InitFluxLoRATraining knooppunt is de output directory, waar uw getrainde model zal worden opgeslagen. Op het RunComfy platform kunt u /home/user/ComfyUI/output/{file_name} kiezen als locatie voor uw output. Zodra de training is voltooid, kunt u het bekijken in de file browser.

Netwerkafmetingen en leersnelheden

Vervolgens wilt u de netwerkafmetingen en leersnelheden instellen. De netwerkafmetingen bepalen de grootte en complexiteit van uw LoRA-netwerk, terwijl de leersnelheden bepalen hoe snel uw model leert en zich aanpast.

Max train steps

Een andere belangrijke parameter om te overwegen is de max_train_steps. Dit bepaalt hoe lang u wilt dat het trainingsproces duurt, of met andere woorden, hoeveel stappen u wilt dat uw model neemt voordat het volledig klaar is. U kunt deze waarde aanpassen op basis van uw specifieke behoeften en de grootte van uw dataset. Het gaat erom de juiste balans te vinden waar uw model genoeg heeft geleerd om uitstekende resultaten te produceren!

2.3.4. FluxTrainValidationSettings

Tenslotte stelt het FluxTrainValidationSettings knooppunt u in staat om de validatie-instellingen te configureren voor het evalueren van de prestaties van uw model tijdens het FLUX LoRA Trainingsproces. U kunt het aantal validatiestappen, afbeeldingsgrootte, guidance scale en seed voor reproduceerbaarheid instellen. Bovendien kunt u de tijdstapsamplingmethode kiezen en de sigmoid scale en shift parameters aanpassen om de tijdstapplanning te controleren en de kwaliteit van de gegenereerde afbeeldingen te verbeteren.

3. Train

Het Train-gedeelte van FLUX LoRA Training is waar de magie gebeurt. Het is verdeeld in vier delen: Train_01, Train_02, Train_03 en Train_04. Elk van deze delen vertegenwoordigt een andere fase in het FLUX LoRA Trainingsproces, waardoor u uw model geleidelijk kunt verfijnen en verbeteren.

3.1. Train_01

Laten we beginnen met Train_01. Dit is waar de initiële trainingslus plaatsvindt. De ster van dit gedeelte is het FluxTrainLoop knooppunt, dat verantwoordelijk is voor het uitvoeren van de trainingslus voor een bepaald aantal stappen. In dit voorbeeld hebben we het ingesteld op 250 stappen, maar u kunt dit aanpassen op basis van uw behoeften. Zodra de trainingslus is voltooid, wordt het getrainde model doorgegeven aan het FluxTrainSave knooppunt, dat het model op regelmatige tijdstippen opslaat. Dit zorgt ervoor dat u checkpoints van uw model hebt op verschillende stadia van de training, wat nuttig kan zijn voor het volgen van de voortgang en het herstellen van onverwachte onderbrekingen.

Maar trainen gaat niet alleen over het opslaan van het model. We moeten ook de prestaties ervan valideren om te zien hoe goed het presteert. Dat is waar het FluxTrainValidate knooppunt om de hoek komt kijken. Het neemt het getrainde model en test het met behulp van een validatiedataset. Deze dataset is gescheiden van de trainingsgegevens en helpt bij het beoordelen hoe goed het model generaliseert naar ongeziene voorbeelden. Het FluxTrainValidate knooppunt genereert voorbeeldafbeeldingen op basis van de validatiegegevens, waardoor u een visuele weergave krijgt van de output van het model op dit stadium.

Om de trainingsvoortgang in de gaten te houden, hebben we het VisualizeLoss knooppunt. Dit handige knooppunt visualiseert het trainingsverlies in de loop van de tijd, waardoor u kunt zien hoe goed het model leert en of het convergeert naar een goede oplossing. Het is als een persoonlijke trainer die uw voortgang bijhoudt en u helpt op koers te blijven.

3.2. Train_02, Train_03, Train_04

In Train_02, voortbouwend op Train_01 in de FLUX LoRA Training, wordt de output verder getraind voor een extra bepaald aantal stappen (bijv.250 stappen). Train_03 en Train_04 volgen een vergelijkbaar patroon, waarbij de training wordt verlengd met bijgewerkte verbindingen voor een soepele voortgang. Elke fase levert een FLUX LoRA-model op, waarmee u de prestaties kunt testen en vergelijken.

Voorbeeld

In ons voorbeeld hebben we ervoor gekozen om alleen Train_01 en Train_02 te gebruiken, elk voor 250 stappen. We hebben Train_03 en Train_04 voorlopig omzeild. Maar voel u vrij om te experimenteren en het aantal trainingssecties en stappen aan te passen op basis van uw specifieke behoeften en middelen.

4. Hoe en Waar de FLUX en FLUX LoRA Modellen te Gebruiken

Zodra u het FLUX LoRA-model hebt, kunt u het integreren in de . Vervang het bestaande LoRA-model door uw getrainde model en test vervolgens de resultaten om de prestaties ervan te evalueren.

Voorbeeld

In ons voorbeeld gebruiken we de FLUX LoRA workflow om meer influencer-afbeeldingen te genereren door het FLUX LoRA-model toe te passen en de prestaties ervan te observeren.

Licentie

Bekijk licentiebestanden:

Het FLUX.1 [dev] Model is gelicentieerd door Black Forest Labs. Inc. onder de FLUX.1 [dev] Niet-Commerciële Licentie. Copyright Black Forest Labs. Inc.

IN GEEN GEVAL ZAL BLACK FOREST LABS, INC. AANSPRAKELIJK ZIJN VOOR ENIGE CLAIM, SCHADE OF ANDERE AANSPRAKELIJKHEID, HETZIJ IN EEN ACTIE VAN CONTRACT, ONRECHTMATIGE DAAD OF ANDERSZINS, VOORTVLOEIEND UIT OF IN VERBAND MET HET GEBRUIK VAN DIT MODEL.