Pelatihan FLUX LoRA

FLUX LoRA telah mendapatkan popularitas besar dalam komunitas AI, terutama di kalangan mereka yang ingin menyesuaikan model AI dengan dataset mereka sendiri. Pendekatan ini memungkinkan Anda untuk dengan mudah menyesuaikan model FLUX yang sudah ada dengan dataset unik Anda, membuatnya sangat dapat disesuaikan dan efisien untuk berbagai usaha kreatif. Jika Anda sudah familiar dengan ComfyUI, menggunakan alur kerja Pelatihan ComfyUI FLUX LoRA untuk melatih model FLUX LoRA Anda akan menjadi mudah. Alur kerja dan node terkait dibuat oleh Kijai, jadi terima kasih besar untuk kontribusinya! Cek untuk info lebih lanjut.

Tutorial Pelatihan ComfyUI FLUX LoRA

Alur kerja Pelatihan ComfyUI FLUX LoRA adalah proses yang kuat yang dirancang untuk melatih model FLUX LoRA. Pelatihan dengan ComfyUI menawarkan beberapa keuntungan, terutama bagi pengguna yang sudah familiar dengan antarmukanya. Dengan Pelatihan FLUX LoRA, Anda dapat menggunakan model yang sama yang digunakan untuk inferensi, memastikan tidak ada masalah kompatibilitas saat bekerja dalam lingkungan Python yang sama. Selain itu, Anda dapat membangun alur kerja untuk membandingkan berbagai pengaturan, meningkatkan proses pelatihan Anda. Tutorial ini akan memandu Anda melalui langkah-langkah untuk menyiapkan dan menggunakan Pelatihan FLUX LoRA di ComfyUI.

Kami akan membahas:

1. Mempersiapkan Dataset Anda untuk Pelatihan FLUX LoRA
2. Proses Pelatihan FLUX LoRA
3. Menjalankan Pelatihan FLUX LoRA
4. Bagaimana dan Di Mana Menggunakan Model FLUX dan FLUX LoRA

1. Mempersiapkan Dataset Anda untuk Pelatihan FLUX LoRA

Saat mempersiapkan data pelatihan Anda untuk Pelatihan FLUX LoRA, penting untuk memiliki gambar berkualitas tinggi untuk subjek target Anda.

Dalam contoh ini, kami sedang melatih model FLUX LoRA untuk menghasilkan gambar seorang influencer tertentu. Untuk ini, Anda memerlukan satu set gambar berkualitas tinggi dari influencer dalam berbagai pose dan pengaturan. Cara yang nyaman untuk mengumpulkan gambar-gambar ini adalah dengan menggunakan , yang memudahkan untuk menghasilkan koleksi gambar yang menunjukkan karakter yang sama dalam pose berbeda sambil menjaga penampilannya konsisten. Untuk dataset pelatihan kami, kami telah memilih lima gambar berkualitas tinggi dari influencer dalam berbagai pose dan pengaturan, memastikan dataset cukup kuat untuk Pelatihan FLUX LoRA untuk mempelajari detail rumit yang dibutuhkan untuk menghasilkan keluaran yang konsisten dan akurat.

Proses Memperoleh Data Pelatihan

Contoh Data Pelatihan

Anda juga dapat mengumpulkan dataset Anda sendiri berdasarkan kebutuhan spesifik Anda——Pelatihan FLUX LoRA fleksibel dan bekerja dengan berbagai jenis data.

2. Proses Pelatihan FLUX LoRA

Alur kerja Pelatihan FLUX LoRA terdiri dari beberapa node kunci yang bekerja sama untuk melatih dan memvalidasi model Anda. Berikut adalah ikhtisar terperinci dari node utama, dibagi menjadi tiga bagian: Dataset, Pengaturan dan Inisialisasi, dan Pelatihan.

2.1. Mengatur Dataset untuk Pelatihan FLUX LoRA

Bagian Dataset terdiri dari dua node penting yang membantu Anda mengkonfigurasi dan menyesuaikan data pelatihan Anda: TrainDatasetGeneralConfig dan TrainDatasetAdd.

2.1.1. TrainDatasetGeneralConfig

Node TrainDatasetGeneralConfig adalah tempat Anda menentukan pengaturan keseluruhan untuk dataset pelatihan Anda dalam Pelatihan FLUX LoRA. Node ini memberi Anda kontrol atas berbagai aspek augmentasi data dan pra-pemrosesan. Misalnya, Anda dapat memilih untuk mengaktifkan atau menonaktifkan augmentasi warna, yang dapat membantu meningkatkan kemampuan model untuk menggeneralisasi di berbagai variasi warna. Demikian pula, Anda dapat mengaktifkan augmentasi flip untuk membalik gambar secara acak secara horizontal, menyediakan sampel pelatihan yang lebih beragam. Selain itu, Anda memiliki opsi untuk mengacak keterangan yang terkait dengan setiap gambar, memperkenalkan keacakan dan mengurangi overfitting. Tingkat dropout keterangan memungkinkan Anda untuk secara acak menghilangkan keterangan selama pelatihan, yang dapat membantu model menjadi lebih kuat terhadap keterangan yang hilang atau tidak lengkap.

2.1.2. TrainDatasetAdd

Node TrainDatasetAdd adalah tempat Anda menentukan detail dari setiap dataset individu untuk dimasukkan dalam Pelatihan FLUX LoRA.

Direktori Input: Jalur Dataset Latihan

Untuk memaksimalkan node ini, penting untuk mengatur data pelatihan Anda dengan benar. Saat menggunakan penjelajah file RunComfy, tempatkan data pelatihan di direktori /home/user/ComfyUI/input/{file-name}, di mana {file-name} adalah nama yang bermakna yang Anda berikan pada dataset Anda.

Setelah Anda menempatkan data pelatihan Anda di direktori yang sesuai, Anda perlu memberikan jalur ke direktori tersebut dalam parameter image_dir dari node TrainDatasetAdd. Ini memberi tahu node di mana menemukan gambar pelatihan Anda.

Class Token

Jika dataset Anda diuntungkan dengan menggunakan token kelas atau kata pemicu tertentu, Anda dapat memasukkannya dalam parameter class_tokens. Token kelas adalah kata atau frasa khusus yang ditambahkan di awal setiap keterangan dan membantu membimbing proses generasi model. Misalnya, jika Anda melatih dataset dari berbagai spesies hewan, Anda dapat menggunakan token kelas seperti "dog", "cat", atau "bird" untuk menunjukkan hewan yang diinginkan dalam gambar yang dihasilkan. Ketika Anda kemudian menggunakan token kelas ini dalam prompt Anda, Anda dapat mengontrol aspek spesifik mana yang ingin Anda hasilkan oleh model.

Mengatur resolusi (lebar dan tinggi), ukuran batch

Selain parameter image_dir dan class_tokens, node TrainDatasetAdd menyediakan beberapa opsi lain untuk menyempurnakan dataset Anda. Anda dapat mengatur resolusi (lebar dan tinggi) dari gambar, menentukan ukuran batch untuk pelatihan, dan menentukan berapa kali dataset harus diulang per epoch.

Beberapa dataset

Salah satu fitur kuat dari Pelatihan FLUX LoRA adalah kemampuan untuk menggabungkan beberapa dataset dengan mulus. Dalam alur kerja Pelatihan FLUX LoRA, ada tiga node TrainDatasetAdd yang terhubung secara berurutan. Setiap node mewakili dataset yang berbeda dengan pengaturannya sendiri yang unik. Dengan menghubungkan node-node ini bersama-sama, Anda dapat membuat set pelatihan yang kaya dan beragam yang menggabungkan gambar dan keterangan dari berbagai sumber.

Untuk mengilustrasikan ini, mari kita pertimbangkan skenario di mana Anda memiliki tiga dataset terpisah: satu untuk kucing, satu untuk anjing, dan satu lagi untuk beruang. Anda dapat mengatur tiga node TrainDatasetAdd, masing-masing didedikasikan untuk salah satu dari dataset tersebut. Di node pertama, Anda akan menentukan jalur ke dataset "kucing" dalam parameter image_dir, mengatur class token ke "cat," dan menyesuaikan parameter lain seperti resolusi dan ukuran batch sesuai kebutuhan Anda. Demikian pula, Anda akan mengkonfigurasi node kedua dan ketiga untuk dataset "anjing" dan "beruang".

Pendekatan ini memungkinkan proses Pelatihan FLUX LoRA untuk memanfaatkan berbagai gambar, meningkatkan kemampuan model untuk menggeneralisasi di berbagai kategori.

Contoh

Dalam contoh kami, kami hanya menggunakan satu dataset untuk melatih model, jadi kami mengaktifkan satu node TrainDatasetAdd dan melewati dua lainnya. Berikut cara Anda mengaturnya:

2.2. Pengaturan dan Inisialisasi

Bagian Pengaturan dan Inisialisasi adalah tempat Anda mengkonfigurasi komponen dan parameter kunci untuk Pelatihan FLUX LoRA. Bagian ini mencakup beberapa node penting yang bekerja sama untuk menyiapkan lingkungan pelatihan Anda.

2.2.1. FluxTrainModelSelect

Pertama, Anda memiliki node FluxTrainModelSelect, yang bertanggung jawab untuk memilih model FLUX yang akan digunakan selama Pelatihan FLUX LoRA. Node ini memungkinkan Anda untuk menentukan jalur ke empat model penting: transformer, VAE (Variational Autoencoder), CLIP_L (Contrastive Language-Image Pre-training), dan T5 (Text-to-Text Transfer Transformer). Model-model ini membentuk tulang punggung proses pelatihan FLUX, dan semuanya telah diatur di platform RunComfy.

2.2.2. OptimizerConfig

Node OptimizerConfig sangat penting untuk mengatur optimizer dalam Pelatihan FLUX LoRA, yang menentukan bagaimana parameter model diperbarui selama pelatihan. Anda dapat memilih jenis optimizer (misalnya, AdamW, CAME), mengatur norma gradien maksimum untuk gradient clipping untuk mencegah gradien yang meledak, dan memilih scheduler learning rate (misalnya, constant, cosine annealing). Selain itu, Anda dapat menyempurnakan parameter spesifik optimizer seperti langkah warmup dan daya scheduler, serta memberikan argumen tambahan untuk kustomisasi lebih lanjut.

Jika Anda lebih suka optimizer Adafactor, yang dikenal karena efisiensi memori dan kemampuannya untuk menangani model besar, Anda dapat menggunakan node OptimizerConfigAdafactor sebagai gantinya.

2.2.3. InitFluxLoRATraining

Node InitFluxLoRATraining adalah pusat di mana semua komponen penting berkumpul untuk memulai proses Pelatihan FLUX LoRA.

Direktori Output: Jalur FLUX LoRA

Salah satu hal penting yang perlu Anda tentukan dalam node InitFluxLoRATraining adalah direktori output, di mana model yang dilatih Anda akan disimpan. Di platform RunComfy, Anda dapat memilih /home/user/ComfyUI/output/{file_name} sebagai lokasi untuk output Anda. Setelah pelatihan selesai, Anda akan dapat melihatnya di penjelajah file.

Dimensi Jaringan dan Learning Rates

Selanjutnya, Anda ingin mengatur dimensi jaringan dan learning rates. Dimensi jaringan menentukan ukuran dan kompleksitas jaringan LoRA Anda, sementara learning rates mengontrol seberapa cepat model Anda belajar dan beradaptasi.

Max Train Steps

Parameter penting lainnya yang perlu dipertimbangkan adalah max_train_steps. Ini menentukan berapa lama Anda ingin proses pelatihan berjalan, atau dengan kata lain, berapa banyak langkah yang Anda inginkan model Anda ambil sebelum benar-benar matang. Anda dapat menyesuaikan nilai ini berdasarkan kebutuhan spesifik Anda dan ukuran dataset Anda. Ini semua tentang menemukan titik manis di mana model Anda telah belajar cukup untuk menghasilkan keluaran yang menggugah selera!

2.3.4. FluxTrainValidationSettings

Terakhir, node FluxTrainValidationSettings memungkinkan Anda untuk mengkonfigurasi pengaturan validasi untuk mengevaluasi kinerja model Anda selama proses Pelatihan FLUX LoRA. Anda dapat mengatur jumlah langkah validasi, ukuran gambar, skala panduan, dan seed untuk reprodusibilitas. Selain itu, Anda dapat memilih metode sampling timestep dan menyesuaikan parameter skala sigmoid dan shift untuk mengontrol penjadwalan timestep dan meningkatkan kualitas gambar yang dihasilkan.

3. Train

Bagian Train dari Pelatihan FLUX LoRA adalah tempat keajaiban terjadi. Ini dibagi menjadi empat bagian: Train_01, Train_02, Train_03, dan Train_04. Masing-masing bagian ini mewakili tahap yang berbeda dalam proses Pelatihan FLUX LoRA, memungkinkan Anda untuk secara bertahap menyempurnakan dan meningkatkan model Anda.

3.1. Train_01

Mari kita mulai dengan Train_01. Ini adalah tempat loop pelatihan awal berlangsung. Bintang dari bagian ini adalah node FluxTrainLoop, yang bertanggung jawab untuk menjalankan loop pelatihan untuk jumlah langkah yang ditentukan. Dalam contoh ini, kami mengaturnya ke 250 langkah, tetapi Anda dapat menyesuaikan ini berdasarkan kebutuhan Anda. Setelah loop pelatihan selesai, model yang dilatih diteruskan ke node FluxTrainSave, yang menyimpan model pada interval yang teratur. Ini memastikan bahwa Anda memiliki checkpoint dari model Anda pada berbagai tahap pelatihan, yang bisa berguna untuk melacak kemajuan dan memulihkan dari gangguan yang tidak terduga.

Tapi pelatihan bukan hanya tentang menyimpan model. Kami juga perlu memvalidasi kinerjanya untuk melihat seberapa baik kinerjanya. Di situlah node FluxTrainValidate masuk. Ini mengambil model yang dilatih dan mengujinya menggunakan dataset validasi. Dataset ini terpisah dari data pelatihan dan membantu menilai seberapa baik model menggeneralisasi ke contoh yang tidak terlihat. Node FluxTrainValidate menghasilkan gambar sampel berdasarkan data validasi, memberi Anda representasi visual dari keluaran model pada tahap ini.

Untuk memantau kemajuan pelatihan, kami memiliki node VisualizeLoss. Node yang berguna ini memvisualisasikan kehilangan pelatihan dari waktu ke waktu, memungkinkan Anda melihat seberapa baik model belajar dan apakah itu menuju solusi yang baik. Ini seperti memiliki pelatih pribadi yang melacak kemajuan Anda dan membantu Anda tetap di jalur.

3.2. Train_02, Train_03, Train_04

Dalam Train_02, melanjutkan dari Train_01 dalam Pelatihan FLUX LoRA, output dilatih lebih lanjut untuk jumlah langkah tambahan yang ditentukan (misalnya, 250 langkah). Train_03 dan Train_04 mengikuti pola yang sama, memperpanjang pelatihan dengan koneksi yang diperbarui untuk kemajuan yang mulus. Setiap tahap menghasilkan model FLUX LoRA, memungkinkan Anda untuk menguji dan membandingkan kinerja.

Contoh

Dalam contoh kami, kami telahjson memilih untuk menggunakan hanya Train_01 dan Train_02, masing-masing berjalan selama 250 langkah. Kami melewati Train_03 dan Train_04 untuk saat ini. Tetapi jangan ragu untuk bereksperimen dan menyesuaikan jumlah bagian pelatihan dan langkah berdasarkan kebutuhan dan sumber daya spesifik Anda.

4. Bagaimana dan Di Mana Menggunakan Model FLUX dan FLUX LoRA

Setelah Anda memiliki model FLUX LoRA, Anda dapat mengintegrasikannya ke dalam . Ganti model LoRA yang ada dengan model yang telah Anda latih, lalu uji hasilnya untuk mengevaluasi kinerjanya.

Contoh

Dalam contoh kami, kami menggunakan alur kerja FLUX LoRA untuk menghasilkan lebih banyak gambar influencer dengan menerapkan model FLUX LoRA dan mengamati kinerjanya.

Lisensi

Lihat file lisensi:

Model FLUX.1 [dev] dilisensikan oleh Black Forest Labs. Inc. di bawah Lisensi Non-Komersial FLUX.1 [dev]. Hak Cipta Black Forest Labs. Inc.

DALAM KEADAAN APAPUN BLACK FOREST LABS, INC. TIDAK BERTANGGUNG JAWAB ATAS SEGALA KLAIM, KERUSAKAN ATAU TANGGUNG JAWAB LAINNYA, BAIK DALAM TINDAKAN KONTRAK, TORT ATAU LAINNYA, YANG TIMBUL DARI, ATAU SEHUBUNGAN DENGAN PENGGUNAAN MODEL INI.