ComfyUI FLUX: Panduan untuk Pengaturan, Alur Kerja seperti FLUX-ControlNet, FLUX-LoRA, dan FLUX-IPAdapter... dan Akses Online

Halo, para penggemar AI! 👋 Selamat datang di panduan pengantar kami tentang penggunaan FLUX dalam ComfyUI. FLUX adalah model mutakhir yang dikembangkan oleh Black Forest Labs. 🌟 Dalam tutorial ini, kami akan membahas dasar-dasar ComfyUI FLUX, menunjukkan bagaimana model yang kuat ini dapat meningkatkan proses kreatif Anda dan membantu Anda mendorong batasan seni yang dihasilkan AI. 🚀

Kami akan membahas:

1. Pengantar FLUX

2. Berbagai Versi FLUX

3. Persyaratan Perangkat Keras FLUX

• 3.1. Persyaratan Perangkat Keras FLUX.1 [Pro]
• 3.2. Persyaratan Perangkat Keras FLUX.1 [Dev]
• 3.3. Persyaratan Perangkat Keras FLUX.1 [Schnell]

4. Cara menginstal FLUX di ComfyUI

• 4.1. Menginstal atau Memperbarui ComfyUI
• 4.2. Mengunduh ComfyUI FLUX Text Encoders dan CLIP Models
• 4.3. Mengunduh FLUX.1 VAE Model
• 4.4. Mengunduh FLUX.1 UNET Model

5. Alur Kerja ComfyUI FLUX | Unduh, Akses Online, dan Panduan

• 5.1. Alur Kerja ComfyUI: FLUX Txt2Img
• 5.2. Alur Kerja ComfyUI: FLUX Img2Img
• 5.3. Alur Kerja ComfyUI: FLUX LoRA
• 5.4. Alur Kerja ComfyUI: FLUX ControlNet
• 5.5. Alur Kerja ComfyUI: FLUX Inpainting
• 5.6. Alur Kerja ComfyUI: FLUX NF4 & Upscale
• 5.7. Alur Kerja ComfyUI: FLUX IPAdapter
• 5.8. Alur Kerja ComfyUI: Flux LoRA Trainer
• 5.9. Alur Kerja ComfyUI: Flux Latent Upscale

1. Pengantar FLUX

FLUX.1, model AI mutakhir oleh Black Forest Labs, merevolusi cara kita membuat gambar dari deskripsi teks. Dengan kemampuannya yang tak tertandingi untuk menghasilkan gambar yang sangat rinci dan kompleks yang sangat sesuai dengan prompt input, FLUX.1 membedakan dirinya dari persaingan. Rahasia kesuksesan FLUX.1 terletak pada arsitektur hibridanya yang unik, yang menggabungkan berbagai jenis blok transformer dan didukung oleh 12 miliar parameter yang mengesankan. Ini memungkinkan FLUX.1 untuk menghasilkan gambar yang memikat secara visual yang secara akurat mewakili deskripsi teks dengan presisi yang luar biasa.

Salah satu aspek paling menarik dari FLUX.1 adalah keserbagunaannya dalam menghasilkan gambar dalam berbagai gaya, dari fotorealistik hingga artistik. FLUX.1 bahkan memiliki kemampuan luar biasa untuk menggabungkan teks dengan mulus dalam gambar yang dihasilkan, sebuah prestasi yang sulit dicapai oleh banyak model lain. Selain itu, FLUX.1 terkenal karena kepatuhannya yang luar biasa terhadap prompt, dengan mudah menangani deskripsi sederhana dan kompleks. Hal ini membuat FLUX.1 sering dibandingkan dengan model terkenal lainnya seperti Stable Diffusion dan Midjourney, dengan FLUX.1 sering menjadi pilihan yang disukai karena sifatnya yang ramah pengguna dan hasilnya yang luar biasa.

Kemampuan luar biasa FLUX.1 menjadikannya alat yang sangat berharga untuk berbagai aplikasi, dari menciptakan konten visual yang menakjubkan dan menginspirasi desain inovatif hingga memfasilitasi visualisasi ilmiah. Kemampuan FLUX.1 untuk menghasilkan gambar yang sangat rinci dan akurat dari deskripsi teks membuka dunia kemungkinan bagi para profesional kreatif, peneliti, dan penggemar. Seiring berkembangnya bidang gambar yang dihasilkan AI, FLUX.1 berada di garis depan, menetapkan standar baru untuk kualitas, keserbagunaan, dan kemudahan penggunaan.

Black Forest Labs, perusahaan AI pionir di balik FLUX.1 yang inovatif, didirikan oleh Robin Rombach, seorang tokoh terkenal dalam industri AI yang sebelumnya menjabat sebagai anggota inti Stability AI. Jika Anda ingin belajar lebih banyak tentang Black Forest Labs dan pekerjaan revolusioner mereka dengan FLUX.1, pastikan untuk mengunjungi situs web resmi mereka di https://blackforestlabs.ai/.

2. Berbagai Versi FLUX

FLUX.1 hadir dalam tiga versi berbeda, masing-masing dirancang untuk memenuhi kebutuhan pengguna tertentu:

1. FLUX.1 [pro]: Ini adalah versi kelas atas yang menawarkan kualitas dan kinerja terbaik, sempurna untuk penggunaan profesional dan proyek kelas atas.
2. FLUX.1 [dev]: Dioptimalkan untuk penggunaan non-komersial, versi ini mempertahankan output berkualitas tinggi sambil lebih efisien, menjadikannya hebat untuk pengembang dan penggemar.
3. FLUX.1 [schnell]: Versi ini mengutamakan kecepatan dan ringan, menjadikannya sempurna untuk pengembangan lokal dan proyek pribadi. Ini juga open-source dan tersedia di bawah lisensi Apache 2.0, sehingga dapat diakses oleh berbagai pengguna.

Nama	HuggingFace repo	Lisensi	md5sum
FLUX.1 [pro]	Hanya tersedia di API kami.
FLUX.1 [dev]	https://huggingface.co/black-forest-labs/FLUX.1-dev	FLUX.1-dev Non-Commercial License	a6bd8c16dfc23db6aee2f63a2eba78c0
FLUX.1 [schnell]	https://huggingface.co/black-forest-labs/FLUX.1-schnell	apache-2.0	a9e1e277b9b16add186f38e3f5a34044

3. Persyaratan Perangkat Keras FLUX

3.1. FLUX.1 [Pro] Persyaratan Perangkat Keras

• GPU yang Direkomendasikan: NVIDIA RTX 4090 atau setara dengan 24 GB atau lebih VRAM. Model ini dioptimalkan untuk GPU kelas atas untuk menangani operasinya yang kompleks.
• RAM: 32 GB atau lebih memori sistem.
• Ruang Disk: Kira-kira 30 GB.
• Persyaratan Komputasi: Presisi tinggi diperlukan; gunakan FP16 (setengah presisi) untuk menghindari kesalahan out-of-memory. Untuk hasil terbaik, disarankan untuk menggunakan varian model fp16 Clip untuk kualitas maksimum.
• Persyaratan Lain: SSD cepat direkomendasikan untuk waktu pemuatan yang lebih cepat dan kinerja keseluruhan.

3.2. FLUX.1 [Dev] Persyaratan Perangkat Keras

• GPU yang Direkomendasikan: NVIDIA RTX 3080/3090 atau setara dengan setidaknya 16 GB VRAM. Versi ini sedikit lebih toleran terhadap perangkat keras dibandingkan model Pro tetapi masih membutuhkan kekuatan GPU yang substansial.
• RAM: 16 GB atau lebih memori sistem.
• Ruang Disk: Kira-kira 25 GB.
• Persyaratan Komputasi: Mirip dengan Pro, gunakan model FP16, tetapi dengan toleransi sedikit untuk komputasi presisi lebih rendah. Dapat menggunakan model Clip fp16 atau fp8 berdasarkan kemampuan GPU.
• Persyaratan Lain: SSD cepat direkomendasikan untuk kinerja optimal.

3.3. FLUX.1 [Schnell] Persyaratan Perangkat Keras

• GPU yang Direkomendasikan: NVIDIA RTX 3060/4060 atau setara dengan 12 GB VRAM. Versi ini dioptimalkan untuk inferensi lebih cepat dan tuntutan perangkat keras yang lebih rendah.
• RAM: 8 GB atau lebih memori sistem.
• Ruang Disk: Kira-kira 15 GB.
• Persyaratan Komputasi: Versi ini kurang menuntut dan memungkinkan komputasi fp8 jika kehabisan memori. Dirancang untuk cepat dan efisien, dengan fokus pada kecepatan daripada kualitas ultra-tinggi.
• Persyaratan Lain: SSD berguna tetapi tidak sepenting dalam versi Pro dan Dev.

4. Cara menginstal FLUX di ComfyUI

4.1. Menginstal atau Memperbarui ComfyUI

Untuk menggunakan FLUX.1 secara efektif dalam lingkungan ComfyUI, sangat penting untuk memastikan bahwa Anda telah menginstal versi terbaru ComfyUI. Versi ini mendukung fitur dan integrasi yang diperlukan untuk model FLUX.1.

4.2. Mengunduh ComfyUI FLUX Text Encoders dan CLIP Models

Untuk kinerja optimal dan generasi teks-ke-gambar yang akurat menggunakan FLUX.1, Anda perlu mengunduh pengkode teks dan model CLIP tertentu. Model berikut ini penting, tergantung pada perangkat keras sistem Anda:

Nama File Model	Ukuran	Catatan	Tautan
t5xxl_fp16.safetensors	9.79 GB	Untuk hasil yang lebih baik, jika Anda memiliki VRAM dan RAM tinggi (lebih dari 32GB RAM).	Unduh
t5xxl_fp8_e4m3fn.safetensors	4.89 GB	Untuk penggunaan memori lebih rendah (8-12GB)	Unduh
clip_l.safetensors	246 MB		Unduh

Langkah-langkah untuk Mengunduh dan Menginstal:

1. Unduh model clip_l.safetensors.
2. Tergantung pada VRAM dan RAM sistem Anda, unduh t5xxl_fp8_e4m3fn.safetensors (untuk VRAM yang lebih rendah) atau t5xxl_fp16.safetensors (untuk VRAM dan RAM yang lebih tinggi).
3. Letakkan model yang diunduh di direktori ComfyUI/models/clip/. Catatan: Jika Anda sebelumnya telah menggunakan SD 3 Medium, Anda mungkin sudah memiliki model-model ini.

4.3. Mengunduh FLUX.1 VAE Model

Model Variational Autoencoder (VAE) sangat penting untuk meningkatkan kualitas generasi gambar dalam FLUX.1. Model VAE berikut tersedia untuk diunduh:

Nama File	Ukuran	Tautan
ae.safetensors	335 MB	Unduh(opens in a new tab)

Langkah-langkah untuk Mengunduh dan Menginstal:

1. Unduh file model ae.safetensors.
2. Letakkan file yang diunduh di direktori ComfyUI/models/vae.
3. Untuk identifikasi yang mudah, disarankan untuk mengganti nama file menjadi flux_ae.safetensors.

4.4. Mengunduh FLUX.1 UNET Model

Model UNET adalah tulang punggung untuk sintesis gambar dalam FLUX.1. Tergantung pada spesifikasi sistem Anda, Anda dapat memilih antara berbagai varian:

Nama File	Ukuran	Tautan	Catatan
flux1-dev.safetensors	23.8GB	Unduh	Jika Anda memiliki VRAM dan RAM tinggi.
flux1-schnell.safetensors	23.8GB	Unduh	Untuk penggunaan memori lebih rendah

Langkah-langkah untuk Mengunduh dan Menginstal:

1. Unduh model UNET yang sesuai berdasarkan konfigurasi memori sistem Anda.
2. Letakkan file model yang diunduh di direktori ComfyUI/models/unet/.

5. Alur Kerja ComfyUI FLUX | Unduh, Akses Online, dan Panduan

Kami akan terus memperbarui Alur Kerja ComfyUI FLUX untuk memberi Anda alur kerja terbaru dan paling komprehensif untuk menghasilkan gambar menakjubkan menggunakan ComfyUI FLUX.

5.1. Alur Kerja ComfyUI: FLUX Txt2Img

5.1.1. ComfyUI FLUX Txt2Img : Unduh

5.1.2. Versi Online ComfyUI FLUX Txt2Img: ComfyUI FLUX Txt2Img

Di Platform RunComfy, versi online kami memuat semua mode dan node yang diperlukan untuk Anda. Plus, kami menawarkan mesin GPU berkinerja tinggi, memastikan Anda dapat menikmati pengalaman ComfyUI FLUX Txt2Img dengan mudah.

5.1.3. Penjelasan ComfyUI FLUX Txt2Img:

Alur kerja ComfyUI FLUX Txt2Img dimulai dengan memuat komponen penting, termasuk FLUX UNET (UNETLoader), FLUX CLIP (DualCLIPLoader), dan FLUX VAE (VAELoader). Ini membentuk dasar dari proses generasi gambar ComfyUI FLUX.

• UNETLoader: Memuat model UNET untuk generasi gambar.
  • Checkpoint: flux/flux1-schnell.sft; flux/flux1-dev.sft
• DualCLIPLoader: Memuat model CLIP untuk pengkodean teks.
  • Embedding Model 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Embedding Model 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Grouping: Strategi pengelompokan untuk model CLIP adalah flux
• VAELoader: Memuat model Variational Autoencoder (VAE) untuk mendekode representasi laten.
  • Model VAE: flux/ae.sft

Prompt teks, yang menggambarkan output yang diinginkan, dikodekan menggunakan CLIPTextEncode. Node ini mengambil prompt teks sebagai input dan menghasilkan pengkondisian teks yang dikodekan, yang membimbing ComfyUI FLUX selama generasi.

Untuk memulai proses generasi ComfyUI FLUX, representasi laten kosong dibuat menggunakan EmptyLatentImage. Ini berfungsi sebagai titik awal bagi ComfyUI FLUX untuk dibangun.

BasicGuider memainkan peran penting dalam membimbing proses generasi ComfyUI FLUX. Ini mengambil pengkondisian teks yang dikodekan dan UNET FLUX yang dimuat sebagai input, memastikan bahwa output yang dihasilkan sesuai dengan deskripsi teks yang diberikan.

KSamplerSelect memungkinkan Anda memilih metode pengambilan sampel untuk generasi ComfyUI FLUX, sementara RandomNoise menghasilkan noise acak sebagai input untuk ComfyUI FLUX. BasicScheduler menjadwalkan level noise (sigma) untuk setiap langkah dalam proses generasi, mengontrol tingkat detail dan kejelasan dalam output akhir.

SamplerCustomAdvanced menyatukan semua komponen dari alur kerja ComfyUI FLUX Txt2Img. Ini mengambil noise acak, pemandu, sampler yang dipilih, sigma yang dijadwalkan, dan representasi laten kosong sebagai input. Melalui proses pengambilan sampel lanjutan, ini menghasilkan representasi laten yang mewakili prompt teks.

Akhirnya, VAEDecode mendekode representasi laten yang dihasilkan ke dalam output akhir menggunakan VAE FLUX yang dimuat. SaveImage memungkinkan Anda menyimpan output yang dihasilkan ke lokasi yang ditentukan, menjaga kreasi menakjubkan yang dimungkinkan oleh alur kerja ComfyUI FLUX Txt2Img.

5.2. Alur Kerja ComfyUI: FLUX Img2Img

5.2.1. ComfyUI FLUX Img2Img: Unduh

5.2.2. Versi Online ComfyUI FLUX Img2Img: ComfyUI FLUX Img2Img

Di Platform RunComfy, versi online kami memuat semua mode dan node yang diperlukan untuk Anda. Plus, kami menawarkan mesin GPU berkinerja tinggi, memastikan Anda dapat menikmati pengalaman ComfyUI FLUX Img2Img dengan mudah.

5.2.3. Penjelasan ComfyUI FLUX Img2Img:

Alur kerja ComfyUI FLUX Img2Img dibangun di atas kekuatan ComfyUI FLUX untuk menghasilkan output berdasarkan prompt teks dan representasi input. Ini dimulai dengan memuat komponen yang diperlukan, termasuk model CLIP (DualCLIPLoader), model UNET (UNETLoader), dan model VAE (VAELoader).

• UNETLoader: Memuat model UNET untuk generasi gambar.
  • Checkpoint: flux/flux1-schnell.sft; flux/flux1-dev.sft
• DualCLIPLoader: Memuat model CLIP untuk pengkodean teks.
  • Embedding Model 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Embedding Model 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Grouping: Strategi pengelompokan untuk model CLIP adalah flux
• VAELoader: Memuat model Variational Autoencoder (VAE) untuk mendekode representasi laten.
  • Model VAE: flux/ae.sft

Representasi input, yang berfungsi sebagai titik awal untuk proses ComfyUI FLUX Img2Img, dimuat menggunakan LoadImage. ImageScale kemudian menskalakan representasi input ke ukuran yang diinginkan, memastikan kompatibilitas dengan ComfyUI FLUX.

Representasi input yang diskalakan mengalami pengkodean menggunakan VAEEncode, mengubahnya menjadi representasi laten. Representasi laten ini menangkap fitur dan detail penting dari input, menyediakan dasar bagi ComfyUI FLUX untuk bekerja.

Prompt teks, yang menggambarkan modifikasi atau peningkatan yang diinginkan pada input, dikodekan menggunakan CLIPTextEncode. FluxGuidance kemudian menerapkan panduan pada pengkondisian berdasarkan skala panduan yang ditentukan, mempengaruhi kekuatan pengaruh prompt teks pada output akhir.

ModelSamplingFlux menetapkan parameter pengambilan sampel untuk ComfyUI FLUX, termasuk penjadwalan timestep, rasio padding, dan dimensi output. Parameter ini mengontrol granularitas dan resolusi output yang dihasilkan.

KSamplerSelect memungkinkan Anda memilih metode pengambilan sampel untuk generasi ComfyUI FLUX, sementara BasicGuider membimbing proses generasi berdasarkan pengkondisian teks yang dikodekan dan UNET FLUX yang dimuat.

Noise acak dihasilkan menggunakan RandomNoise, dan BasicScheduler menjadwalkan level noise (sigma) untuk setiap langkah dalam proses generasi. Komponen-komponen ini memperkenalkan variasi yang terkendali dan menyempurnakan detail dalam output akhir.

SamplerCustomAdvanced menyatukan noise acak, pemandu, sampler yang dipilih, sigma yang dijadwalkan, dan representasi laten dari input. Melalui proses pengambilan sampel lanjutan, ini menghasilkan representasi laten yang menggabungkan modifikasi yang ditentukan oleh prompt teks sambil mempertahankan fitur penting dari input.

Akhirnya, VAEDecode mendekode representasi laten yang dihasilkan ke dalam output akhir menggunakan VAE FLUX yang dimuat. PreviewImage menampilkan pratinjau output yang dihasilkan, menunjukkan hasil menakjubkan yang dicapai oleh alur kerja ComfyUI FLUX Img2Img.

5.3. Alur Kerja ComfyUI: FLUX LoRA

5.3.1. ComfyUI FLUX LoRA: Unduh

5.3.2. Versi Online ComfyUI FLUX LoRA: ComfyUI FLUX LoRA

Di Platform RunComfy, versi online kami memuat semua mode dan node yang diperlukan untuk Anda. Plus, kami menawarkan mesin GPU berkinerja tinggi, memastikan Anda dapat menikmati pengalaman ComfyUI FLUX LoRA dengan mudah.

5.3.3. Penjelasan ComfyUI FLUX LoRA:

Alur kerja ComfyUI FLUX LoRA memanfaatkan kekuatan Low-Rank Adaptation (LoRA) untuk meningkatkan kinerja ComfyUI FLUX. Ini dimulai dengan memuat komponen yang diperlukan, termasuk model UNET (UNETLoader), model CLIP (DualCLIPLoader), model VAE (VAELoader), dan model LoRA (LoraLoaderModelOnly).

• UNETLoader: Memuat model UNET untuk generasi gambar.
  • Checkpoint: flux/flux1-dev.sft
• DualCLIPLoader: Memuat model CLIP untuk pengkodean teks.
  • Embedding Model 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Embedding Model 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Grouping: Strategi pengelompokan untuk model CLIP adalah flux
• VAELoader: Memuat model Variational Autoencoder (VAE) untuk mendekode representasi laten.
  • Model VAE: flux/ae.sft
• LoraLoaderModelOnly: Memuat model LoRA (Low-Rank Adaptation) untuk meningkatkan model UNET.
  • LoaderModel: flux/realism_lora.safetensors

Prompt teks, yang menggambarkan output yang diinginkan, ditentukan menggunakan String Literal. CLIPTextEncode kemudian mengkodekan prompt teks, menghasilkan pengkondisian teks yang dikodekan yang membimbing proses generasi ComfyUI FLUX.

FluxGuidance menerapkan panduan pada pengkondisian teks yang dikodekan, mempengaruhi kekuatan dan arah kepatuhan ComfyUI FLUX terhadap prompt teks.

Representasi laten kosong, yang berfungsi sebagai titik awal untuk generasi, dibuat menggunakan EmptyLatentImage. Lebar dan tinggi output yang dihasilkan ditentukan menggunakan Int Literal, memastikan dimensi yang diinginkan dari hasil akhir.

ModelSamplingFlux menetapkan parameter pengambilan sampel untuk ComfyUI FLUX, termasuk rasio padding dan penjadwalan timestep. Parameter ini mengontrol resolusi dan granularitas output yang dihasilkan.

KSamplerSelect memungkinkan Anda memilih metode pengambilan sampel untuk generasi ComfyUI FLUX, sementara BasicGuider membimbing proses generasi berdasarkan pengkondisian teks yang dikodekan dan UNET FLUX yang dimuat dengan peningkatan FLUX LoRA.

Noise acak dihasilkan menggunakan RandomNoise, dan BasicScheduler menjadwalkan level noise (sigma) untuk setiap langkah dalam proses generasi. Komponen-komponen ini memperkenalkan variasi yang terkendali dan menyempurnakan detail dalam output akhir.

SamplerCustomAdvanced menyatukan noise acak, pemandu, sampler yang dipilih, sigma yang dijadwalkan, dan representasi laten kosong. Melalui proses pengambilan sampel lanjutan, ini menghasilkan representasi laten yang mewakili prompt teks, memanfaatkan kekuatan FLUX dan peningkatan FLUX LoRA.

Akhirnya, VAEDecode mendekode representasi laten yang dihasilkan ke dalam output akhir menggunakan VAE FLUX yang dimuat. SaveImage memungkinkan Anda menyimpan output yang dihasilkan ke lokasi yang ditentukan, menjaga kreasi menakjubkan yang dimungkinkan oleh alur kerja ComfyUI FLUX LoRA.

5.4. Alur Kerja ComfyUI: FLUX ControlNet

5.4.1. ComfyUI FLUX ControlNet: Unduh

5.4.2. Versi Online ComfyUI FLUX ControlNet: ComfyUI FLUX ControlNet

Di Platform RunComfy, versi online kami memuat semua mode dan node yang diperlukan untuk Anda. Plus, kami menawarkan mesin GPU berkinerja tinggi, memastikan Anda dapat menikmati pengalaman ComfyUI FLUX ControlNet dengan mudah.

5.4.3. Penjelasan ComfyUI FLUX ControlNet:

Alur kerja ComfyUI FLUX ControlNet menunjukkan integrasi ControlNet dengan ComfyUI FLUX untuk peningkatan generasi output. Alur kerja ini menunjukkan dua contoh: pengkondisian berbasis kedalaman dan pengkondisian berbasis tepi Canny.

• UNETLoader: Memuat model UNET untuk generasi gambar.
  • Checkpoint: flux/flux1-dev.sft
• DualCLIPLoader: Memuat model CLIP untuk pengkodean teks.
  • Embedding Model 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Embedding Model 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Grouping: Strategi pengelompokan untuk model CLIP adalahflux
• VAELoader: Memuat model Variational Autoencoder (VAE) untuk mendekode representasi laten.
  • Model VAE: flux/ae.sft

Dalam alur kerja berbasis kedalaman, representasi input mengalami prapemrosesan menggunakan MiDaS-DepthMapPreprocessor, menghasilkan peta kedalaman. Peta kedalaman kemudian diteruskan melalui ApplyFluxControlNet (Depth) bersama dengan FLUX ControlNet yang dimuat untuk pengkondisian kedalaman. Kondisi FLUX ControlNet yang dihasilkan berfungsi sebagai input ke XlabsSampler (Depth), bersama dengan UNET FLUX yang dimuat, pengkondisian teks yang dikodekan, pengkondisian teks negatif, dan representasi laten kosong. XlabsSampler menghasilkan representasi laten berdasarkan input ini, yang kemudian didekode menjadi output akhir menggunakan VAEDecode.

• MiDaS-DepthMapPreprocessor (Depth): Memproses prapemrosesan gambar input untuk estimasi kedalaman menggunakan MiDaS.
• LoadFluxControlNet: Memuat model ControlNet.
  • Path: flux-depth-controlnet.safetensors

Demikian pula, dalam alur kerja berbasis tepi Canny, representasi input mengalami prapemrosesan menggunakan CannyEdgePreprocessor untuk menghasilkan tepi Canny. Representasi tepi Canny diteruskan melalui ApplyFluxControlNet (Canny) bersama dengan FLUX ControlNet yang dimuat untuk pengkondisian tepi Canny. Kondisi FLUX ControlNet yang dihasilkan berfungsi sebagai input ke XlabsSampler (Canny), bersama dengan UNET FLUX yang dimuat, pengkondisian teks yang dikodekan, pengkondisian teks negatif, dan representasi laten kosong. XlabsSampler menghasilkan representasi laten berdasarkan input ini, yang kemudian didekode menjadi output akhir menggunakan VAEDecode.

• CannyEdgePreprocessor (Canny): Memproses prapemrosesan gambar input untuk deteksi tepi Canny.
• LoadFluxControlNet: Memuat model ControlNet.
  • Path: flux-canny-controlnet.safetensors

Alur kerja ComfyUI FLUX ControlNet menggabungkan node untuk memuat komponen yang diperlukan (DualCLIPLoader, UNETLoader, VAELoader, LoadFluxControlNet), mengkodekan prompt teks (CLIPTextEncodeFlux), membuat representasi laten kosong (EmptyLatentImage), dan melihat pratinjau output yang dihasilkan dan dipraproses (PreviewImage).

Dengan memanfaatkan kekuatan FLUX ControlNet, alur kerja ComfyUI FLUX ControlNet memungkinkan generasi output yang selaras dengan pengkondisian khusus, seperti peta kedalaman atau tepi Canny. Tingkat kontrol dan panduan tambahan ini meningkatkan fleksibilitas dan presisi proses generasi, memungkinkan pembuatan output yang menakjubkan dan kontekstual relevan menggunakan ComfyUI FLUX.

5.5. Alur Kerja ComfyUI: FLUX Inpainting

5.5.1. ComfyUI FLUX Inpainting: Unduh

5.5.2. Versi Online ComfyUI FLUX Inpainting: ComfyUI FLUX Inpainting

Di Platform RunComfy, versi online kami memuat semua mode dan node yang diperlukan untuk Anda. Plus, kami menawarkan mesin GPU berkinerja tinggi, memastikan Anda dapat menikmati pengalaman ComfyUI FLUX Inpainting dengan mudah.

5.5.3. Penjelasan ComfyUI FLUX Inpainting:

Alur kerja ComfyUI FLUX Inpainting menunjukkan kemampuan ComfyUI FLUX untuk melakukan inpainting, yang melibatkan pengisian area yang hilang atau tertutup dari output berdasarkan konteks sekitar dan prompt teks yang diberikan. Alur kerja dimulai dengan memuat komponen yang diperlukan, termasuk model UNET (UNETLoader), model VAE (VAELoader), dan model CLIP (DualCLIPLoader).

• UNETLoader: Memuat model UNET untuk generasi gambar.
  • Checkpoint: flux/flux1-schnell.sft; flux/flux1-dev.sft
• DualCLIPLoader: Memuat model CLIP untuk pengkodean teks.
  • Embedding Model 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Embedding Model 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Grouping: Strategi pengelompokan untuk model CLIP adalah flux
• VAELoader: Memuat model Variational Autoencoder (VAE) untuk mendekode representasi laten.
  • Model VAE: flux/ae.sft

Prompt teks positif dan negatif, yang menggambarkan konten dan gaya yang diinginkan untuk area yang di-inpaint, dikodekan menggunakan CLIPTextEncodes. Pengkondisian teks positif lebih lanjut dibimbing menggunakan FluxGuidance untuk mempengaruhi proses inpainting ComfyUI FLUX.

Representasi input dan mask dimuat dan diubah ukurannya menggunakan LoadAndResizeImage, memastikan kompatibilitas dengan persyaratan ComfyUI FLUX. ImpactGaussianBlurMask menerapkan blur Gaussian pada mask, menciptakan transisi yang lebih halus antara area yang di-inpaint dan representasi asli.

InpaintModelConditioning mempersiapkan pengkondisian untuk inpainting FLUX dengan menggabungkan pengkondisian teks positif yang dibimbing, pengkondisian teks negatif yang dikodekan, VAE FLUX yang dimuat, representasi input yang dimuat dan diubah ukurannya, dan mask yang diblur. Pengkondisian ini berfungsi sebagai dasar untuk proses inpainting ComfyUI FLUX.

Noise acak dihasilkan menggunakan RandomNoise, dan metode pengambilan sampel dipilih menggunakan KSamplerSelect. BasicScheduler menjadwalkan level noise (sigma) untuk proses inpainting ComfyUI FLUX, mengontrol tingkat detail dan kejelasan di area yang di-inpaint.

BasicGuider membimbing proses inpainting ComfyUI FLUX berdasarkan pengkondisian yang disiapkan dan UNET FLUX yang dimuat. SamplerCustomAdvanced melakukan proses pengambilan sampel lanjutan, mengambil noise acak yang dihasilkan, pemandu, sampler yang dipilih, sigma yang dijadwalkan, dan representasi laten dari input sebagai input. Ini menghasilkan representasi laten yang di-inpaint.

Akhirnya, VAEDecode mendekode representasi laten yang di-inpaint ke dalam output akhir, menggabungkan area yang di-inpaint dengan representasi asli dengan mulus. PreviewImage menampilkan pratinjau output akhir, menunjukkan kemampuan inpainting yang mengesankan dari FLUX.

Dengan memanfaatkan kekuatan FLUX dan alur kerja inpainting yang dirancang dengan hati-hati, FLUX Inpainting memungkinkan pembuatan output yang secara visual koheren dan kontekstual relevan yang di-inpaint. Apakah itu memulihkan bagian yang hilang, menghapus objek yang tidak diinginkan, atau memodifikasi area tertentu, alur kerja inpainting ComfyUI FLUX menyediakan alat yang kuat untuk pengeditan dan manipulasi.

5.6. Alur Kerja ComfyUI: FLUX NF4

5.6.1. ComfyUI FLUX NF4: Unduh

5.6.2. Versi Online ComfyUI FLUX NF4: ComfyUI FLUX NF4

Di Platform RunComfy, versi online kami memuat semua mode dan node yang diperlukan untuk Anda. Plus, kami menawarkan mesin GPU berkinerja tinggi, memastikan Anda dapat menikmati pengalaman ComfyUI FLUX NF4 dengan mudah.

5.6.3. Penjelasan ComfyUI FLUX NF4:

Alur kerja ComfyUI FLUX NF4 menunjukkan integrasi ComfyUI FLUX dengan arsitektur NF4 (Normalizing Flow 4) untuk generasi output berkualitas tinggi. Alur kerja dimulai dengan memuat komponen yang diperlukan menggunakan CheckpointLoaderNF4, yang mencakup FLUX UNET, FLUX CLIP, dan FLUX VAE.

• UNETLoader: Memuat model UNET untuk generasi gambar.
  • Checkpoint: TBD

Node PrimitiveNode (height) dan PrimitiveNode (width) menentukan tinggi dan lebar output yang diinginkan. Node ModelSamplingFlux menetapkan parameter pengambilan sampel untuk ComfyUI FLUX berdasarkan FLUX UNET yang dimuat dan tinggi serta lebar yang ditentukan.

Node EmptySD3LatentImage membuat representasi laten kosong sebagai titik awal untuk generasi. Node BasicScheduler menjadwalkan level noise (sigma) untuk proses generasi ComfyUI FLUX.

Node RandomNoise menghasilkan noise acak untuk proses generasi ComfyUI FLUX. Node BasicGuider membimbing proses generasi berdasarkan pengkondisian ComfyUI FLUX.

Node KSamplerSelect memilih metode pengambilan sampel untuk generasi ComfyUI FLUX. Node SamplerCustomAdvanced melakukan proses pengambilan sampel lanjutan, mengambil noise acak yang dihasilkan, pemandu, sampler yang dipilih, sigma yang dijadwalkan, dan representasi laten kosong sebagai input. Ini menghasilkan representasi laten yang dihasilkan.

Node VAEDecode mendekode representasi laten yang dihasilkan ke dalam output akhir menggunakan VAE FLUX yang dimuat. Node SaveImage menyimpan output yang dihasilkan ke lokasi yang ditentukan.

Untuk upscaling, node UltimateSDUpscale digunakan. Ini mengambil output yang dihasilkan, FLUX yang dimuat, pengkondisian positif dan negatif untuk upscaling, VAE FLUX yang dimuat, dan upscaling FLUX yang dimuat sebagai input. Node CLIPTextEncode (Upscale Positive Prompt) mengkodekan prompt teks positif untuk upscaling. Node UpscaleModelLoader memuat upscaling FLUX. Node UltimateSDUpscale melakukan proses upscaling dan menghasilkan representasi yang di-upscale. Akhirnya, node SaveImage (Upscaled) menyimpan output yang di-upscale ke lokasi yang ditentukan.

Dengan memanfaatkan kekuatan ComfyUI FLUX dan arsitektur NF4, alur kerja ComfyUI FLUX NF4 memungkinkan generasi output berkualitas tinggi dengan fidelitas dan realisme yang ditingkatkan. Integrasi mulus ComfyUI FLUX dengan arsitektur NF4 menyediakan alat yang kuat untuk menciptakan output yang menakjubkan dan memikat.

5.7. Alur Kerja ComfyUI: FLUX IPAdapter

5.7.1. ComfyUI FLUX IPAdapter: Unduh

5.7.2. Versi Online ComfyUI FLUX IPAdapter: ComfyUI FLUX IPAdapter

Di Platform RunComfy, versi online kami memuat semua mode dan node yang diperlukan untuk Anda. Plus, kami menawarkan mesin GPU berkinerja tinggi, memastikan Anda dapat menikmati pengalaman ComfyUI FLUX IPAdapter dengan mudah.

5.7.3. Penjelasan ComfyUI FLUX IPAdapter:

Alur kerja ComfyUI FLUX IPAdapter dimulai dengan memuat model yang diperlukan, termasuk model UNET (UNETLoader), model CLIP (DualCLIPLoader), dan model VAE (VAELoader).

Prompt teks positif dan negatif dikodekan menggunakan CLIPTextEncodeFlux. Pengkondisian teks positif digunakan untuk membimbing proses generasi ComfyUI FLUX.

Gambar input dimuat menggunakan LoadImage. LoadFluxIPAdapter memuat IP-Adapter untuk model FLUX, yang kemudian diterapkan pada model UNET yang dimuat menggunakan ApplyFluxIPAdapter. ImageScale menskalakan gambar input ke ukuran yang diinginkan sebelum menerapkan IP-Adapter.

• LoadFluxIPAdapter: Memuat IP-Adapter untuk model FLUX.
  • Model IP Adapter: flux-ip-adapter.safetensors
  • CLIP Vision Encoder: clip_vision_l.safetensors

EmptyLatentImage membuat representasi laten kosong sebagai titik awal untuk generasi ComfyUI FLUX.

XlabsSampler melakukan proses pengambilan sampel, mengambil UNET FLUX dengan IP-Adapter yang diterapkan, pengkondisian teks positif dan negatif yang dikodekan, dan representasi laten kosong sebagai input. Ini menghasilkan representasi laten.

VAEDecode mendekode representasi laten yang dihasilkan ke dalam output akhir menggunakan VAE FLUX yang dimuat. Node PreviewImage menampilkan pratinjau output akhir.

Alur kerja ComfyUI FLUX IPAdapter memanfaatkan kekuatan ComfyUI FLUX dan IP-Adapter untuk menghasilkan output berkualitas tinggi yang selaras dengan prompt teks yang diberikan. Dengan menerapkan IP-Adapter pada UNET FLUX, alur kerja ini memungkinkan generasi output yang menangkap karakteristik dan gaya yang diinginkan yang ditentukan dalam pengkondisian teks.

5.8. Alur Kerja ComfyUI: Flux LoRA Trainer

5.8.1. ComfyUI FLUX LoRA Trainer: Unduh

5.8.2. Penjelasan ComfyUI Flux LoRA Trainer:

Alur kerja ComfyUI FLUX LoRA Trainer terdiri dari beberapa tahap untuk melatih LoRA menggunakan arsitektur FLUX dalam ComfyUI.

Pemilihan dan Konfigurasi ComfyUI FLUX: Node FluxTrainModelSelect digunakan untuk memilih komponen untuk pelatihan, termasuk UNET, VAE, CLIP, dan pengkode teks CLIP. Node OptimizerConfig mengonfigurasi pengaturan optimizer untuk pelatihan ComfyUI FLUX, seperti jenis optimizer, learning rate, dan weight decay. Node TrainDatasetGeneralConfig dan TrainDatasetAdd digunakan untuk mengonfigurasi dataset pelatihan, termasuk resolusi, pengaturan augmentasi, dan ukuran batch.

Inisialisasi Pelatihan ComfyUI FLUX: Node InitFluxLoRATraining memulai proses pelatihan LoRA menggunakan komponen yang dipilih, konfigurasi dataset, dan pengaturan optimizer. Node FluxTrainValidationSettings mengonfigurasi pengaturan validasi untuk pelatihan, seperti jumlah sampel validasi, resolusi, dan ukuran batch.

Loop Pelatihan ComfyUI FLUX: Node FluxTrainLoop melakukan loop pelatihan untuk LoRA, mengiterasi untuk jumlah langkah yang ditentukan. Setelah setiap loop pelatihan, node FluxTrainValidate memvalidasi LoRA yang dilatih menggunakan pengaturan validasi dan menghasilkan output validasi. Node PreviewImage menampilkan pratinjau hasil validasi. Node FluxTrainSave menyimpan LoRA yang dilatih pada interval yang ditentukan.

Visualisasi Kerugian ComfyUI FLUX: Node VisualizeLoss memvisualisasikan kerugian pelatihan selama pelatihan. Node SaveImage menyimpan plot kerugian untuk analisis lebih lanjut.

Pemrosesan Output Validasi ComfyUI FLUX: Node AddLabel dan SomethingToString digunakan untuk menambahkan label ke output validasi, menunjukkan langkah pelatihan. Node ImageBatchMulti dan ImageConcatFromBatch menggabungkan dan menggabungkan output validasi menjadi satu hasil untuk visualisasi yang lebih mudah.

Finalisasi Pelatihan ComfyUI FLUX: Node FluxTrainEnd menyelesaikan proses pelatihan LoRA dan menyimpan LoRA yang dilatih. Node UploadToHuggingFace dapat digunakan untuk mengunggah LoRA yang dilatih ke Hugging Face untuk berbagi dan penggunaan lebih lanjut dengan ComfyUI FLUX.

5.9. Alur Kerja ComfyUI: Flux Latent Upscaler

5.9.1. ComfyUI Flux Latent Upscaler: Unduh

5.9.2. Penjelasan ComfyUI Flux Latent Upscaler:

Alur kerja ComfyUI Flux Latent Upscale dimulai dengan memuat komponen yang diperlukan, termasuk CLIP (DualCLIPLoader), UNET (UNETLoader), dan VAE (VAELoader). Prompt teks dikodekan menggunakan node CLIPTextEncode, dan panduan diterapkan menggunakan node FluxGuidance.

Node SDXLEmptyLatentSizePicker+ menentukan ukuran representasi laten kosong, yang berfungsi sebagai titik awal untuk proses upscaling dalam FLUX. Representasi laten kemudian diproses melalui serangkaian langkah upscaling dan cropping menggunakan node LatentUpscale dan LatentCrop.

Proses upscaling dibimbing oleh pengkondisian teks yang dikodekan dan menggunakan node SamplerCustomAdvanced dengan metode pengambilan sampel yang dipilih (KSamplerSelect) dan level noise yang dijadwalkan (BasicScheduler). Node ModelSamplingFlux menetapkan parameter pengambilan sampel.

Representasi laten yangdi-upscale kemudian dikompositkan dengan representasi laten asli menggunakan node LatentCompositeMasked dan mask yang dihasilkan oleh node SolidMask dan FeatherMask. Noise disuntikkan ke dalam representasi laten yang di-upscale menggunakan node InjectLatentNoise+.

Akhirnya, representasi laten yang di-upscale didekode menjadi output akhir menggunakan node VAEDecode, dan penajaman pintar diterapkan menggunakan node ImageSmartSharpen+. Node PreviewImage menampilkan pratinjau output akhir yang dihasilkan oleh ComfyUI FLUX.

Alur kerja ComfyUI FLUX Latent Upscaler juga mencakup berbagai operasi matematis menggunakan node SimpleMath+, SimpleMathFloat+, SimpleMathInt+, dan SimpleMathPercent+ untuk menghitung dimensi, rasio, dan parameter lainnya untuk proses upscaling.