Omost | Tingkatkan Pembuatan Gambar

1. Apa itu Omost?

Omost, singkatan dari "Gambar Anda hampir selesai!", adalah proyek inovatif yang mengubah kemampuan pengkodean Large Language Models (LLM) menjadi pembuatan gambar, atau lebih tepatnya, kemampuan menyusun gambar. Nama "Omost" memiliki dua arti: itu menyiratkan bahwa setiap kali Anda menggunakan Omost, gambar Anda hampir selesai, dan itu juga berarti "omni" (multi-modal) dan "most" (memanfaatkan sebaik-baiknya).

Omost menyediakan model LLM pralatih yang menghasilkan kode untuk menyusun konten visual gambar menggunakan agen Canvas virtual Omost. Canvas ini kemudian dapat dirender oleh implementasi spesifik generator gambar untuk membuat gambar akhir. Omost dirancang untuk menyederhanakan dan meningkatkan proses pembuatan gambar, membuatnya dapat diakses dan efisien untuk seniman AI.

2. Bagaimana Omost Bekerja

2.1. Canvas dan Deskripsi

Omost menggunakan Canvas virtual di mana elemen-elemen gambar dijelaskan dan diposisikan. Canvas dibagi menjadi grid 9x9=81 posisi, memungkinkan penempatan elemen yang presisi. Posisi-posisi ini selanjutnya diperhalus menjadi kotak pembatas, menyediakan 729 lokasi berbeda yang mungkin untuk setiap elemen. Pendekatan terstruktur ini memastikan bahwa elemen-elemen ditempatkan dengan akurat dan konsisten.

2.2. Kedalaman dan Warna

Elemen-elemen di Canvas diberi parameter distance_to_viewer, yang membantu mengurutkannya ke dalam lapisan latar belakang-ke-foreground. Parameter ini berfungsi sebagai indikator kedalaman relatif, memastikan bahwa elemen yang lebih dekat muncul di depan elemen yang lebih jauh. Selain itu, parameter HTML_web_color_name menyediakan representasi warna kasar untuk perenderan awal, yang dapat diperhalus menggunakan model difusi. Warna awal ini membantu dalam memvisualisasikan komposisi sebelum penyempurnaan.

2.3. Rekayasa Prompt

Omost menggunakan sub-prompt, yang merupakan deskripsi singkat dan mandiri dari elemen-elemen, untuk menghasilkan komposisi gambar yang terperinci dan koheren. Setiap sub-prompt kurang dari 75 token dan menjelaskan elemen secara independen. Sub-prompt ini digabungkan menjadi prompt lengkap untuk diproses oleh LLM, memastikan bahwa gambar yang dihasilkan akurat dan kaya secara semantik. Metode ini memastikan bahwa pengkodean teks efisien dan menghindari kesalahan pemotongan semantik.

2.4. Regional Prompter

Omost menerapkan teknik manipulasi perhatian canggih untuk menangani prompt regional, memastikan bahwa setiap bagian gambar dihasilkan dengan akurat berdasarkan deskripsi yang diberikan. Teknik seperti manipulasi skor perhatian memastikan bahwa aktivasi di dalam area yang dimasker didorong, sementara yang di luar didorong. Kontrol perhatian yang presisi ini menghasilkan pembuatan gambar berkualitas tinggi dan spesifik daerah.

3. Penjelasan Detail tentang ComfyUI Omost Nodes

3.1. Omost LLM Loader Node

Parameter input dari Omost LLM Loader Node

• llm_name: Nama model LLM pralatih untuk dimuat. Pilihan yang tersedia meliputi:
  • lllyasviel/omost-phi-3-mini-128k-8bits
  • lllyasviel/omost-llama-3-8b-4bits
  • lllyasviel/omost-dolphin-2.9-llama3-8b-4bits

Parameter ini menentukan model mana yang akan dimuat, masing-masing menawarkan kemampuan dan optimasi yang berbeda.

Parameter output dari Omost LLM Loader Node

• OMOST_LLM: Model LLM yang dimuat.

Output ini menyediakan LLM yang dimuat, siap untuk menghasilkan deskripsi dan komposisi gambar.

3.2. Omost LLM Chat Node

Parameter input dari Omost LLM Chat Node

• llm: Model LLM yang dimuat oleh OmostLLMLoader.
• text: Prompt teks untuk menghasilkan gambar. Ini adalah input utama di mana Anda menjelaskan adegan atau elemen yang ingin Anda hasilkan.
• max_new_tokens: Jumlah maksimum token baru untuk dihasilkan. Ini mengontrol panjang teks yang dihasilkan, dengan jumlah yang lebih tinggi memungkinkan deskripsi yang lebih rinci.
• top_p: Mengontrol keragaman output yang dihasilkan. Nilai yang mendekati 1.0 mencakup kemungkinan yang lebih beragam, sementara nilai yang lebih rendah fokus pada hasil yang paling mungkin.
• temperature: Mengontrol keacakan output yang dihasilkan. Nilai yang lebih tinggi menghasilkan output yang lebih acak, sementara nilai yang lebih rendah membuat output lebih deterministik.
• conversation (Opsional): Konteks percakapan sebelumnya. Ini memungkinkan model untuk melanjutkan dari interaksi sebelumnya, mempertahankan konteks dan koherensi.

Parameter output dari Omost LLM Chat Node

• OMOST_CONVERSATION: Riwayat percakapan, termasuk respons baru. Ini membantu dalam melacak dialog dan mempertahankan konteks di beberapa interaksi.
• OMOST_CANVAS_CONDITIONING: Parameter kondisioning Canvas yang dihasilkan untuk perenderan. Parameter ini menentukan bagaimana elemen-elemen ditempatkan dan dijelaskan di Canvas.

3.3. Omost Render Canvas Conditioning Node

Parameter input dari Omost Render Canvas Conditioning Node

• canvas_conds: Parameter kondisioning Canvas. Parameter ini mencakup deskripsi dan posisi elemen-elemen di Canvas secara rinci.

Parameter output dari Omost Render Canvas Conditioning Node

• IMAGE: Gambar yang dirender berdasarkan kondisioning Canvas. Output ini adalah representasi visual dari adegan yang dijelaskan, dihasilkan dari parameter kondisioning.

3.4. Omost Layout Cond Node

Parameter input dari Omost Layout Cond Node

• canvas_conds: Parameter kondisioning Canvas.
• clip: Model CLIP untuk pengkodean teks. Model ini mengkodekan deskripsi teks menjadi vektor yang dapat digunakan oleh generator gambar.
• global_strength: Kekuatan kondisioning global. Ini mengontrol seberapa kuat deskripsi keseluruhan mempengaruhi gambar.
• region_strength: Kekuatan kondisioning regional. Ini mengontrol seberapa kuat deskripsi regional spesifik mempengaruhi area masing-masing.
• overlap_method: Metode untuk menangani area yang tumpang tindih (misalnya, overlay, average). Ini menentukan cara mencampur area yang tumpang tindih dalam gambar.
• positive (Opsional): Kondisioning positif tambahan. Ini dapat mencakup prompt atau kondisi tambahan untuk meningkatkan aspek tertentu dari gambar.

Parameter output dari Omost Layout Cond Node

• CONDITIONING: Parameter kondisioning untuk pembuatan gambar. Parameter ini membimbing proses pembuatan gambar, memastikan bahwa output sesuai dengan adegan yang dijelaskan.
• MASK: Mask yang digunakan untuk kondisioning. Ini membantu dalam debugging dan menerapkan kondisi tambahan ke area spesifik.

3.5. Omost Load Canvas Conditioning Node

Parameter input dari Omost Load Canvas Conditioning Node

• json_str: String JSON yang mewakili parameter kondisioning Canvas. Ini memungkinkan pemuatan kondisi yang telah ditentukan dari file JSON.

Parameter output dari Omost Load Canvas Conditioning Node

• OMOST_CANVAS_CONDITIONING: Parameter kondisioning Canvas yang dimuat. Parameter ini menginisialisasi Canvas dengan kondisi spesifik, siap untuk pembuatan gambar.