Updated: 5/24/2024
Selamat datang! Dalam panduan ini, mari kita jelajahi fitur-fitur menarik dari ComfyUI IPAdapter Plus, juga dikenal sebagai ComfyUI IPAdapter V2.
Model IPAdapter sangat kuat untuk conditioning gambar-ke-gambar, memungkinkan transfer subjek atau gaya dari gambar referensi ke kreasi baru dengan mudah. Pikirkan ini sebagai LoRA 1-gambar.
Pengenalan IPAdapter Plus (IPAdapter V2) telah membawa banyak fitur baru yang bertujuan untuk menyederhanakan proses integrasi model, meningkatkan kegunaan, dan memperluas kemungkinan kreatif.
Penting untuk dicatat bahwa peningkatan ke ComfyUI IPAdapter Plus (IPAdapter V2) akan membuat alur kerja Anda sebelumnya, yang bergantung pada node ComfyUI IPAdapter V1, tidak berfungsi. Akibatnya, Anda perlu membangun ulang proyek Anda menggunakan ComfyUI IPAdapter Plus.
Kami akan membahas:
Jika Anda tertarik untuk menjelajahi Alur Kerja ComfyUI IPAdapter Plus (IPAdapter V2), gunakan ComfyUI web berikut. Ini dilengkapi sepenuhnya dengan semua node dan model pelanggan penting, memungkinkan kreativitas tanpa hambatan tanpa perlu pengaturan manual. Mulailah mendapatkan pengalaman langsung segera, atau lanjutkan dengan tutorial ini untuk mempelajari cara menggunakan IPAdapter Plus dengan efektif.
Input "Model" dan "IPAdapter" dari node "IPAdapter" terhubung ke output dari node "IPAdapter Unified Loader". Di sini, Anda dapat memilih dari berbagai model IPAdapter, masing-masing disesuaikan dengan kebutuhan yang berbeda:
Input "Gambar" dari node "IPAdapter" adalah gambar referensi yang digunakan untuk conditioning gambar-ke-gambar. Di sinilah node "IPAdapter" menerapkan kemampuan transformasinya, mengubah gambar referensi berdasarkan parameter yang ditentukan dan fungsionalitas model. Melalui proses ini, gambar baru dihasilkan, mewarisi atribut dari gambar referensi dan memadukannya dengan potensi kreatif model IPAdapter.
Dengan "Attn Mask", Anda dapat menyoroti area gambar tertentu untuk pemrosesan fokus atau untuk mengarahkan perhatian model, meningkatkan atau mempertahankan fitur gambar tertentu sambil mengarahkan fokus model.
Parameter "Weight" menyesuaikan intensitas modifikasi yang diterapkan; nilai yang lebih tinggi menghasilkan efek yang lebih menonjol, sementara nilai yang lebih rendah menghasilkan perubahan yang lebih halus.
Parameter "Start At" dan "End At" menentukan langkah awal dan akhir di mana efek IPAdapter diterapkan, menawarkan kontrol atas pemrosesan.
"Weight Type" untuk menerapkan bobot melalui tahapan pemrosesan bervariasi, masing-masing mempengaruhi output dengan cara yang khas:
Saat bekerja dengan model SDXL, model IPAdapter Plus terintegrasi dengan mulus dan otomatis menyesuaikan dengan karakteristik model SDXL. Namun, penting untuk menyesuaikan ukuran laten dengan tepat agar sesuai dengan persyaratan model SDXL.
Menawarkan serangkaian fitur yang lebih komprehensif, node ComfyUI IPAdapter Advanced meningkatkan kontrol atas proses generasi melalui parameter seperti "Image Negative", "CLIP Vision", "Combine Embeds", dan lebih banyak opsi "Weight Type", menyelaraskan gambar lebih dekat dengan visi kreatif Anda.
Parameter "Image Negative" memungkinkan Anda untuk menentukan apa yang tidak ingin muncul dalam gambar akhir. Dengan menentukan contoh negatif, model diarahkan menjauh dari elemen yang tidak diinginkan, menuju hasil yang lebih diinginkan. Fitur ini sangat penting dalam menghindari tema, objek, atau pola tertentu dalam gambar yang dihasilkan, memastikan bahwa output sesuai dengan preferensi Anda.
Dalam node "IPAdapter Advanced", Anda akan menemukan input "CLIP Vision". Ini terhubung ke output dari node "Load CLIP Vision", di mana Anda dapat memilih dari berbagai Model CLIP-ViT.
Perbedaan utama antara CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors dan CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors terletak pada ukuran dan potensi penanganan kompleksitas mereka, dengan yang terakhir lebih besar pada 39 miliar parameter, menunjukkan bahwa ia dapat menafsirkan hubungan teks-gambar yang lebih halus daripada parameter 32 miliar dari yang pertama.
Dibandingkan dengan node "IPAdapter", node "IPAdapter Advanced" membuka lebih banyak opsi untuk "weight type", masing-masing mempengaruhi output dengan cara yang khas:
Fitur "Combine Embeds" sangat penting bagi mereka yang ingin menggabungkan input dari beberapa sumber menjadi output visual yang koheren. Dengan menggunakan "Combine Embeds," Anda memiliki fleksibilitas untuk membuat gambar yang menggabungkan berbagai pengaruh dan inspirasi artistik, menghasilkan kreasi yang benar-benar dipersonalisasi dan inovatif. Metode yang disediakan untuk menggabungkan embeds, seperti Concat, Add, Subtract, Average, dan Norm Average, menawarkan pendekatan beragam untuk menggabungkan pengaruh ini. Ini akan dibahas secara rinci di Bagian 4, "Fitur Penggabungan Gambar ComfyUI IPAdapter."
Dalam konfigurasi yang disebutkan di atas, Anda mungkin memperhatikan tidak adanya model FaceID. Untuk mengintegrasikan Model Face ID ke dalam alur kerja Anda, diperlukan dua node khusus: Node "IPAdapter Unified Loader FaceID" dan Node "IPAdapter FaceID".
Saat bekerja dalam node "IPAdapter Unified Loader FaceID", Anda dapat memilih "Face ID Plus V2" terbaru dari menu dropdown model yang tersedia. Tindakan ini menginstruksikan loader untuk secara otomatis mengumpulkan dan menyiapkan semua dependensi yang diperlukan yang unik untuk model Face ID Plus V2.
Pilih CPU sebagai Penyedia. Meskipun mungkin tersedia GPU berkinerja tinggi, disarankan untuk mengonfigurasi model Face ID untuk menggunakan CPU sebagai penyedia. Rekomendasi ini didasarkan pada keuntungan dalam menjaga Video RAM (VRAM) yang berharga, strategi yang terbukti menguntungkan dan membantu mengoptimalkan alokasi sumber daya proyek Anda secara keseluruhan.
Bagaimana cara menggunakan beberapa gambar referensi untuk menghasilkan gambar baru? Berikut adalah dua metode untuk mencapai ini dengan ComfyUI's IPAdapter Plus, memberikan Anda fleksibilitas dan kontrol yang diperlukan untuk pembuatan gambar kreatif.
Untuk memulai dengan node "Batch Image", Anda harus terlebih dahulu memilih gambar yang ingin Anda gabungkan. Gambar-gambar ini kemudian dimasukkan ke dalam node, menciptakan batch yang bersatu. Batch ini kemudian diperkenalkan ke pipeline IPAdapter, menerapkan setiap gambar secara berurutan ke proses generatif.
Node "IPAdapter Advanced" memperkenalkan opsi "Combine Embeds", memberikan Anda kontrol canggih tentang bagaimana beberapa gambar mempengaruhi generasi. Opsi-opsi ini—Concat, Add, Subtract, Average, dan Norm Average—menentukan bagaimana embedding dari gambar yang berbeda digabungkan, masing-masing menghasilkan hasil yang unik:
Dalam gambar berikut, dengan menggunakan "Combine Embeds" yang berbeda, Anda akan mendapatkan hasil yang berbeda.
Bagi mereka yang mencari kontrol lebih halus atas bagaimana gambar referensi diberi bobot dalam gambar akhir, IPAdapter menyediakan solusi melalui penggunaan node "IPAdapter Encoder" dan node "IPAdapter Combine Embeds".
Setiap gambar dalam proses penggabungan diproses melalui node encoder IPAdapter, yang mengenkode gambar-gambar untuk kompatibilitas dengan IPAdapter. Dalam node "IPAdapter Encoder", pengguna dapat menetapkan bobot spesifik untuk setiap gambar, menentukan pengaruhnya pada output gabungan. Menyesuaikan bobot ini memungkinkan kontrol yang halus atas dominasi atau kelembutan setiap gambar dalam komposisi.
Setelah mengenkode gambar-gambar dan menetapkan bobotnya, node "IPAdapter Combine Embeds" menggabungkan representasi yang dienkode. Ini menggabungkan embedding positif dari node encoder, mencerminkan pengaruh yang dimaksudkan dari setiap gambar pada output gabungan. Embedding yang seimbang ini kemudian siap untuk disintesis.
Embedding yang disintesis akhirnya diproses oleh IP Adapter untuk menghasilkan gambar baru. Meskipun menghubungkan embedding negatif adalah opsional, melakukannya disarankan untuk menghemat sumber daya komputasi. Dengan memilih salah satu dari dua embedding negatif dari node encoder dan menghubungkannya ke node IPAdapter, proses ini dioptimalkan, meminimalkan perhitungan yang tidak perlu dan merampingkan proses penggabungan.
Dengan mengikuti metode ini, Anda dapat secara efektif menggabungkan beberapa gambar untuk menghasilkan komposisi baru yang kreatif, memanfaatkan sepenuhnya kemampuan ComfyUI IPAdapter Plus!
Saat memproses gambar tinggi, Anda mungkin menghadapi tantangan unik: encoder CLIP Vision, komponen inti dari kerangka kerja IPAdapter, secara inheren lebih menyukai gambar persegi. Preferensi ini dapat menyebabkan masalah pemotongan saat menghubungkan gambar tinggi langsung ke node IPAdapter, biasanya hanya menghasilkan bagian tengah gambar yang mempengaruhi output. Akibatnya, bagian atas dan bawah gambar Anda mungkin diabaikan, mempengaruhi kualitas keseluruhan konten yang dihasilkan.
Untuk mengatasi masalah ini, node "IPAdapter Tiled" menawarkan solusi yang disesuaikan. Ini memungkinkan koneksi langsung gambar tinggi dengan membagi gambar menjadi ubin yang lebih kecil dan dapat dikelola. Metode ini memastikan bahwa setiap bagian dari gambar referensi Anda diperhitungkan selama proses generasi, menghindari masalah pengabaian gambar parsial.
Fitur tambahan dari node "IPAdapter Tiled" adalah output ubin dan masker, yang menyediakan representasi visual tentang bagaimana gambar Anda diproses. Fitur ini menunjukkan ubin tertentu yang digunakan dan maskernya yang sesuai, memberikan Anda wawasan tentang cara kerja internal dari proses generatif. Memahami bagaimana gambar Anda disegmentasi dan diproses dapat membantu Anda membuat penyesuaian yang tepat untuk mencapai hasil yang diinginkan.
Selain itu, node "IPAdapter Tiled" memungkinkan penyesuaian masker yang disesuaikan, menawarkan fleksibilitas untuk menyoroti atau memfokuskan pada bagian tertentu dari gambar Anda. Dengan menyesuaikan masker ini, Anda dapat mengarahkan lebih banyak perhatian pada elemen tertentu dari gambar tinggi Anda, memberikan kontrol yang lebih besar atas hasil akhir. Fitur ini sangat berharga untuk menekankan atau meminimalkan aspek tertentu dalam gambar Anda, memastikan konten yang dihasilkan selaras dengan visi Anda.
Oleh karena itu, penggabungan node "IPAdapter Tiled" ke dalam ComfyUI IPAdapter Plus secara signifikan meningkatkan kapasitas Anda untuk menangani proyek conditioning gambar-ke-gambar yang melibatkan gambar tinggi.
Bagaimana cara menggunakan ComfyUI IPAdapter Plus untuk memanipulasi dan menggabungkan gaya dan komposisi gambar referensi untuk menciptakan visual baru yang menarik. ComfyUI IPAdapter Plus menawarkan rangkaian alat yang kuat bagi seniman dan desainer untuk bereksperimen, termasuk kemampuan untuk mentransfer gaya dari satu gambar, mempertahankan komposisi dari gambar lain, atau bahkan menggabungkan gaya dan komposisi dari referensi yang berbeda ke dalam satu gambar.
Untuk mentransfer gaya dari gambar referensi, Seperti LoRA 1-gambar, ke konten target Anda menggunakan node ComfyUI IPAdapter Advanced, ikuti langkah-langkah ini:
Menyiapkan Node "IPAdapter Advanced": Mulailah dengan memasukkan node "IPAdapter Advanced" ke dalam alur kerja Anda.
Mengonfigurasi Node: Dalam pengaturan node ComfyUI IPAdapter Advanced, temukan opsi "Weight Type". Gunakan menu dropdown untuk memilih "Style Transfer (SDXL)." Konfigurasi ini mengarahkan adapter untuk memprioritaskan transfer gaya visual dari gambar referensi Anda ke target.
Menyesuaikan "Weight" Transfer Gaya: Pengaturan "weight" menentukan kekuatan transfer gaya. Meningkatkan nilai ini memperkuat pengaruh gaya referensi pada gambar target Anda, membuat efeknya lebih mencolok.
Untuk mempertahankan komposisi dari gambar referensi saat menghasilkan gambar baru, Anda juga akan menggunakan node ComfyUI IPAdapter Advanced tetapi dengan pengaturan yang berbeda:
Menyiapkan Node "IPAdapter Advanced": Seperti sebelumnya, tambahkan node IPAdapter Advanced ke alur kerja Anda.
Mengonfigurasi Node: Pilih "Composition (SDXL)" dari dropdown "Weight Type". Ini menginstruksikan adapter untuk mempertahankan elemen komposisi dari gambar referensi dalam generasi baru.
Menyesuaikan "Weight" Komposisi: Modifikasi pengaturan "weight" untuk mempengaruhi seberapa dekat gambar baru mengikuti komposisi referensi. Bobot yang lebih tinggi akan lebih ketat menegakkan komposisi referensi.
Untuk proyek yang memerlukan transfer gaya dari satu gambar dan komposisi dari gambar lain, node "IPAdapter style & composition SDXL" menawarkan solusi yang efisien:
Pilih Node "IPAdapter Style & Composition SDXL": Tambahkan node khusus ini ke proyek Anda untuk menangani transfer gaya dan komposisi secara bersamaan.
Memuat Referensi Gaya dan Komposisi: Node "IPAdapter Style & Composition SDXL" memungkinkan dua input, satu untuk gambar yang gaya yang ingin Anda transfer dan satu lagi untuk gambar yang komposisinya ingin Anda pertahankan. Muat kedua referensi sesuai.
Mengonfigurasi "Weights" untuk Gaya dan Komposisi: Node "IPAdapter Style & Composition SDXL" menyediakan pengaturan bobot terpisah untuk gaya dan komposisi. Sesuaikan bobot ini untuk menyeimbangkan pengaruh setiap referensi pada gambar akhir. Menetapkan bobot yang lebih tinggi untuk gaya atau komposisi akan memprioritaskan aspek tersebut dalam gambar yang dihasilkan.
Dengan mengikuti langkah-langkah ini dan bereksperimen dengan pengaturan, Anda dapat memanfaatkan ComfyUI IPAdapter Plus untuk menciptakan gambar yang memukau secara visual yang menggabungkan gaya khas dari satu karya seni dengan komposisi yang dipikirkan dari karya lain.
Jika Anda tertarik untuk menjelajahi Alur Kerja ComfyUI IPAdapter Plus (IPAdapter V2), gunakan ComfyUI web berikut. Ini dilengkapi sepenuhnya dengan semua node dan model pelanggan penting, memungkinkan kreativitas tanpa hambatan tanpa perlu pengaturan manual. Mulailah mendapatkan pengalaman langsung segera!
© Hak Cipta 2024 RunComfy. Seluruh Hak Cipta Dilindungi.