FLUX LoRA Training

FLUX LoRA zyskało ogromną popularność w społeczności AI, zwłaszcza wśród tych, którzy chcą dopracować modele AI za pomocą własnych zestawów danych. To podejście pozwala na łatwe dostosowanie istniejących modeli FLUX do Twoich unikalnych zestawów danych, czyniąc je wysoce personalizowanymi i efektywnymi dla szerokiego zakresu kreatywnych przedsięwzięć. Jeśli jesteś już zaznajomiony z ComfyUI, używanie workflow ComfyUI FLUX LoRA Training do szkolenia swojego modelu FLUX LoRA będzie proste. Workflow i powiązane węzły zostały stworzone przez Kijai, więc wielkie dzięki dla niego za wkład! Sprawdź po więcej informacji.

ComfyUI FLUX LoRA Training Tutorial

Workflow ComfyUI FLUX LoRA Training to potężny proces zaprojektowany do szkolenia modeli FLUX LoRA. Szkolenie z ComfyUI oferuje kilka zalet, szczególnie dla użytkowników już zaznajomionych z jego interfejsem. Dzięki FLUX LoRA Training możesz używać tych samych modeli, które są stosowane do inferencji, zapewniając brak problemów z kompatybilnością podczas pracy w tym samym środowisku Python. Dodatkowo możesz budować workflow, aby porównywać różne ustawienia, ulepszając proces szkoleniowy. Ten samouczek przeprowadzi Cię przez kroki konfiguracji i użycia FLUX LoRA Training w ComfyUI.

Omówimy:

1. Przygotowanie Twojego Zestawu Danych do FLUX LoRA Training
2. Proces FLUX LoRA Training
3. Przeprowadzanie FLUX LoRA Training
4. Jak i Gdzie Używać Modeli FLUX i FLUX LoRA

1. Przygotowanie Twojego Zestawu Danych do FLUX LoRA Training

Podczas przygotowywania danych szkoleniowych do FLUX LoRA Training, kluczowe jest posiadanie wysokiej jakości obrazów dla Twojego docelowego tematu.

W tym przykładzie szkolimy model FLUX LoRA do generowania obrazów konkretnego influencera. Do tego będziesz potrzebować zestawu wysokiej jakości obrazów influencera w różnych pozach i ustawieniach. Wygodnym sposobem na zebranie tych obrazów jest użycie , który ułatwia generowanie kolekcji obrazów pokazujących tę samą postać w różnych pozach, zachowując jej wygląd spójny. Do naszego zestawu danych szkoleniowych wybraliśmy pięć wysokiej jakości obrazów influencera w różnych pozach i ustawieniach, zapewniając, że zestaw danych jest wystarczająco solidny, aby FLUX LoRA Training nauczyło się złożonych szczegółów potrzebnych do tworzenia spójnych i dokładnych wyników.

Proces Pozyskiwania Danych Szkoleniowych

Przykład Danych Szkoleniowych

Możesz również zebrać własny zestaw danych w zależności od swoich specyficznych potrzeb——FLUX LoRA Training jest elastyczne i działa z różnymi rodzajami danych.

2. Proces FLUX LoRA Training

Workflow FLUX LoRA Training składa się z kilku kluczowych węzłów, które współpracują, aby szkolić i walidować Twój model. Oto szczegółowy przegląd głównych węzłów, podzielonych na trzy części: Dataset, Settings and Init, oraz Training.

2.1. Ustawienie Zestawów Danych do FLUX LoRA Training

Sekcja Dataset składa się z dwóch kluczowych węzłów, które pomagają skonfigurować i dostosować dane szkoleniowe: TrainDatasetGeneralConfig i TrainDatasetAdd.

2.1.1. TrainDatasetGeneralConfig

Węzeł TrainDatasetGeneralConfig to miejsce, gdzie definiujesz ogólne ustawienia dla swojego zestawu danych szkoleniowych w FLUX LoRA Training. Ten węzeł daje Ci kontrolę nad różnymi aspektami augmentacji danych i preprocessing. Na przykład, możesz wybrać, czy włączyć czy wyłączyć augmentację kolorów, co może pomóc poprawić zdolność modelu do generalizacji różnych wariacji kolorów. Podobnie, możesz przełączać augmentację flip, aby losowo odwracać obrazy poziomo, dostarczając bardziej zróżnicowanych próbek szkoleniowych. Dodatkowo masz opcję tasowania podpisów przypisanych do każdego obrazu, wprowadzając losowość i redukując nadmierne dopasowanie. Wskaźnik dropoutu podpisów pozwala na losowe usuwanie podpisów podczas szkolenia, co może pomóc modelowi stać się bardziej odpornym na brakujące lub niekompletne podpisy.

2.1.2. TrainDatasetAdd

Węzeł TrainDatasetAdd to miejsce, gdzie określasz szczegóły każdego indywidualnego zestawu danych do uwzględnienia w FLUX LoRA Training.

Katalog wejściowy: Ścieżka Zestawu Danych Szkoleniowych

Aby w pełni wykorzystać ten węzeł, ważne jest odpowiednie zorganizowanie danych szkoleniowych. Korzystając z przeglądarki plików RunComfy, umieść dane szkoleniowe w katalogu /home/user/ComfyUI/input/{file-name}, gdzie {file-name} to znacząca nazwa, którą przypisujesz swojemu zestawowi danych.

Gdy umieścisz dane szkoleniowe we właściwym katalogu, musisz podać ścieżkę do tego katalogu w parametrze image_dir węzła TrainDatasetAdd. To mówi węzłowi, gdzie znaleźć obrazy szkoleniowe.

Token Klasy

Jeśli Twój zestaw danych korzysta z określonych tokenów klas lub słów kluczowych, możesz je wprowadzić w parametrze class_tokens. Tokeny klas to specjalne słowa lub frazy, które są dodawane na początku każdego podpisu i pomagają kierować procesem generowania modelu. Na przykład, jeśli szkolisz na zestawie danych różnych gatunków zwierząt, możesz użyć tokenów klas takich jak "dog", "cat" lub "bird" aby wskazać pożądane zwierzę w generowanych obrazach. Kiedy później użyjesz tych tokenów klas w swoich promptach, możesz kontrolować, które konkretne aspekty chcesz, aby model wygenerował.

Ustawienie rozdzielczości (szerokość i wysokość), wielkości partii

Oprócz parametrów image_dir i class_tokens, węzeł TrainDatasetAdd oferuje kilka innych opcji do dopracowania Twojego zestawu danych. Możesz ustawić rozdzielczość (szerokość i wysokość) obrazów, określić wielkość partii do szkolenia i określić liczbę powtórzeń zestawu danych na epokę.

Wiele zestawów danych

Jedną z potężnych cech FLUX LoRA Training jest zdolność do bezproblemowego łączenia wielu zestawów danych. W workflow FLUX LoRA Training są trzy węzły TrainDatasetAdd połączone w sekwencji. Każdy węzeł reprezentuje osobny zestaw danych z własnymi unikalnymi ustawieniami. Łącząc te węzły razem, możesz stworzyć bogaty i zróżnicowany zestaw szkoleniowy, który zawiera obrazy i podpisy z różnych źródeł.

Aby to zilustrować, rozważmy scenariusz, w którym masz trzy oddzielne zestawy danych: jeden dla kotów, jeden dla psów i jeden dla niedźwiedzi. Możesz ustawić trzy węzły TrainDatasetAdd, z których każdy jest dedykowany jednemu z tych zestawów danych. W pierwszym węźle określisz ścieżkę do zestawu danych "cats" w parametrze image_dir, ustawisz class token na "cat" i dostosujesz inne parametry, takie jak rozdzielczość i wielkość partii, aby pasowały do Twoich potrzeb. Podobnie skonfigurujesz drugi i trzeci węzeł dla zestawów danych "dogs" i "bears".

To podejście pozwala procesowi FLUX LoRA Training wykorzystać zróżnicowany zakres obrazów, poprawiając zdolność modelu do generalizacji różnych kategorii.

Przykład

W naszym przykładzie używamy tylko jednego zestawu danych do szkolenia modelu, więc włączamy jeden węzeł TrainDatasetAdd i pomijamy pozostałe dwa. Oto jak możesz to ustawić:

2.2. Ustawienia i Inicjalizacja

Sekcja Ustawienia i Inicjalizacja to miejsce, gdzie konfigurujesz kluczowe komponenty i parametry dla FLUX LoRA Training. Ta sekcja zawiera kilka kluczowych węzłów, które współpracują, aby ustawić Twoje środowisko szkoleniowe.

2.2.1. FluxTrainModelSelect

Najpierw masz węzeł FluxTrainModelSelect, który odpowiada za wybór modeli FLUX, które będą używane podczas FLUX LoRA Training. Ten węzeł pozwala określić ścieżki do czterech kluczowych modeli: transformera, VAE (Variational Autoencoder), CLIP_L (Contrastive Language-Image Pre-training) i T5 (Text-to-Text Transfer Transformer). Te modele stanowią podstawę procesu szkoleniowego FLUX i wszystkie zostały skonfigurowane na platformie RunComfy.

2.2.2. OptimizerConfig

Węzeł OptimizerConfig jest kluczowy dla ustawienia optymalizatora w FLUX LoRA Training, który decyduje, jak parametry modelu są aktualizowane podczas szkolenia. Możesz wybrać typ optymalizatora (np. AdamW, CAME), ustawić maksymalną normę gradientu dla przycinania gradientów, aby zapobiec eksplozji gradientów, oraz wybrać scheduler stopy uczenia się (np. constant, cosine annealing). Dodatkowo możesz dopracować specyficzne dla optymalizatora parametry, takie jak kroki rozgrzewki i moc schedulera, oraz podać dodatkowe argumenty dla dalszej personalizacji.

Jeśli wolisz optymalizator Adafactor, znany ze swojej efektywności pamięciowej i zdolności do obsługi dużych modeli, możesz użyć węzła OptimizerConfigAdafactor.

2.2.3. InitFluxLoRATraining

Węzeł InitFluxLoRATraining to centralny hub, gdzie wszystkie kluczowe komponenty zbiegają się, aby rozpocząć proces FLUX LoRA Training.

Katalog wyjściowy: Ścieżka FLUX LoRA

Jedną z kluczowych rzeczy, które musisz określić w węźle InitFluxLoRATraining, jest katalog wyjściowy, gdzie zostanie zapisany Twój wytrenowany model. Na platformie RunComfy możesz wybrać /home/user/ComfyUI/output/{file_name} jako miejsce dla Twojego wyjścia. Po zakończeniu szkolenia będziesz mógł go zobaczyć w przeglądarce plików.

Wymiary sieci i stopy uczenia

Następnie będziesz chciał ustawić wymiary sieci i stopy uczenia. Wymiary sieci określają rozmiar i złożoność Twojej sieci LoRA, podczas gdy stopy uczenia kontrolują, jak szybko Twój model się uczy i adaptuje.

Maksymalne kroki szkoleniowe

Innym ważnym parametrem do rozważenia jest max_train_steps. Określa on, jak długo chcesz, aby proces szkoleniowy trwał, innymi słowy, ile kroków chcesz, aby Twój model wykonał, zanim będzie w pełni wytrenowany. Możesz dostosować tę wartość w zależności od swoich specyficznych potrzeb i wielkości zestawu danych. Chodzi o znalezienie tego złotego środka, gdzie Twój model nauczył się wystarczająco, aby produkować znakomite wyniki!

2.3.4. FluxTrainValidationSettings

Wreszcie, węzeł FluxTrainValidationSettings pozwala skonfigurować ustawienia walidacji do oceny wydajności Twojego modelu podczas procesu FLUX LoRA Training. Możesz ustawić liczbę kroków walidacyjnych, rozmiar obrazu, skalę przewodnictwa i ziarno dla powtarzalności. Dodatkowo możesz wybrać metodę próbkowania timesteps i dostosować parametry sigmoid scale i shift, aby kontrolować harmonogram timesteps i poprawić jakość generowanych obrazów.

3. Trening

Sekcja Trening w FLUX LoRA Training to miejsce, gdzie dzieje się magia. Jest podzielona na cztery części: Train_01, Train_02, Train_03 i Train_04. Każda z tych części reprezentuje inny etapjson proces FLUX LoRA Training, pozwalając Ci stopniowo udoskonalać i poprawiać model.

3.1. Train_01

Zacznijmy od Train_01. To tutaj odbywa się początkowa pętla treningowa. Gwiazdą tej sekcji jest węzeł FluxTrainLoop, który odpowiada za wykonanie pętli treningowej przez określoną liczbę kroków. W tym przykładzie ustawiliśmy go na 250 kroków, ale możesz dostosować to w zależności od swoich potrzeb. Po zakończeniu pętli treningowej, wytrenowany model jest przekazywany do węzła FluxTrainSave, który zapisuje model w regularnych odstępach czasu. To zapewnia, że masz punkty kontrolne modelu na różnych etapach szkolenia, co może być przydatne do śledzenia postępów i odzyskiwania po niespodziewanych przerwach.

Ale szkolenie to nie tylko zapisywanie modelu. Musimy również zweryfikować jego wydajność, aby zobaczyć, jak dobrze sobie radzi. To tutaj wchodzi węzeł FluxTrainValidate. Bierze on wytrenowany model i poddaje go testowi za pomocą zestawu danych walidacyjnych. Ten zestaw danych jest oddzielony od danych szkoleniowych i pomaga ocenić, jak dobrze model generalizuje do nieznanych przykładów. Węzeł FluxTrainValidate generuje przykładowe obrazy na podstawie danych walidacyjnych, dając Ci wizualną reprezentację wyników modelu na tym etapie.

Aby śledzić postępy treningu, mamy węzeł VisualizeLoss. Ten przydatny węzeł wizualizuje stratę treningową w czasie, pozwalając zobaczyć, jak dobrze model się uczy i czy zbliża się do dobrego rozwiązania. To jak mieć osobistego trenera, który śledzi Twoje postępy i pomaga Ci pozostać na dobrej drodze.

3.2. Train_02, Train_03, Train_04

W Train_02, kontynuując od Train_01 w FLUX LoRA Training, wyjście jest dalej trenowane przez dodatkową określoną liczbę kroków (np. 250 kroków). Train_03 i Train_04 podążają podobnym wzorcem, rozszerzając trening z zaktualizowanymi połączeniami dla płynnej progresji. Każdy etap wyjściowy to model FLUX LoRA, pozwalający na testowanie i porównywanie wydajności.

Przykład

W naszym przykładzie wybraliśmy użycie tylko Train_01 i Train_02, każdy działający przez 250 kroków. Pomijamy Train_03 i Train_04 na razie. Ale śmiało eksperymentuj i dostosowuj liczbę sekcji treningowych i kroków w zależności od swoich specyficznych potrzeb i zasobów.

4. Jak i Gdzie Używać Modeli FLUX i FLUX LoRA

Gdy już masz model FLUX LoRA, możesz włączyć go do . Zamień istniejący model LoRA na swój wytrenowany model, a następnie przetestuj wyniki, aby ocenić jego wydajność.

Przykład

W naszym przykładzie używamy workflow FLUX LoRA do generowania większej liczby obrazów influencera, stosując model FLUX LoRA i obserwując jego wydajność.

Licencja

Zobacz pliki licencyjne:

Model FLUX.1 [dev] jest licencjonowany przez Black Forest Labs. Inc. na podstawie licencji FLUX.1 [dev] Non-Commercial License. Copyright Black Forest Labs. Inc.

W ŻADNYM WYPADKU BLACK FOREST LABS, INC. NIE PONOSI ODPOWIEDZIALNOŚCI ZA JAKIEKOLWIEK ROSZCZENIA, SZKODY LUB INNE ODPOWIEDZIALNOŚĆ, CZY TO W RAMACH UMOWY, TORTU CZY INACZEJ, WYNIKAJĄCE Z UŻYTKOWANIA TEGO MODELU LUB Z NIM ZWIĄZANE.