Omost | Förbättra Bildskapande

1. Vad är Omost?

Omost, kort för "Din bild är nästan klar!", är ett innovativt projekt som omvandlar Large Language Models' (LLM) kodningskapaciteter till bildgenerering, eller mer specifikt, bildkomponeringskapaciteter. Namnet "Omost" har en dubbel betydelse: det antyder att varje gång du använder Omost är din bild nästan klar, och det betyder också "omni" (multi-modal) och "most" (att få ut det mesta av det).

Omost tillhandahåller förtränade LLM-modeller som genererar kod för att komponera bildinnehåll med hjälp av Omost's virtuella Canvas-agent. Denna Canvas kan sedan renderas av specifika implementationer av bildgeneratorer för att skapa de slutliga bilderna. Omost är utformad för att förenkla och förbättra bildgenereringsprocessen, vilket gör den tillgänglig och effektiv för AI-konstnärer.

2. Hur Omost Fungerar

2.1. Canvas och Beskrivningar

Omost använder en virtuell Canvas där element av bilden beskrivs och placeras. Canvasen är indelad i ett rutnät av 9x9=81 positioner, vilket möjliggör exakt placering av element. Dessa positioner förfinas ytterligare till begränsningsrutor, vilket ger 729 olika möjliga placeringar för varje element. Detta strukturerade tillvägagångssätt säkerställer att elementen placeras exakt och konsekvent.

2.2. Djup och Färg

Element på Canvasen tilldelas en distance_to_viewer parameter, som hjälper till att sortera dem i bakgrund-till-förgrund lager. Denna parameter fungerar som en relativ djupindikator, vilket säkerställer att närmare element visas framför de som är längre bort. Dessutom tillhandahåller HTML_web_color_name parametern en grov färgrepresentation för initial rendering, som kan förfinas med hjälp av diffusionsmodeller. Denna initiala färg hjälper till att visualisera kompositionen innan finjustering.

2.3. Promptteknik

Omost använder sub-prompts, som är korta, självständiga beskrivningar av element, för att generera detaljerade och sammanhängande bildkompositioner. Varje sub-prompt är mindre än 75 tokens och beskriver ett element oberoende. Dessa sub-prompts sammanfogas till kompletta prompts för LLM att bearbeta, vilket säkerställer att de genererade bilderna är exakta och semantiskt rika. Denna metod säkerställer att textkodningen är effektiv och undviker semantiska trunkeringsfel.

2.4. Regional Prompter

Omost implementerar avancerade uppmärksamhetsmanipuleringstekniker för att hantera regionala prompts, vilket säkerställer att varje del av bilden genereras exakt baserat på de givna beskrivningarna. Tekniker som uppmärksamhetspoängsmanipulation säkerställer att aktiveringarna inom maskerade områden uppmuntras, medan de utanför avskräcks. Denna precisa kontroll över uppmärksamhet resulterar i högkvalitativ, regionsspecifik bildgenerering.

3. Detaljerad Förklaring av ComfyUI Omost Noder

3.1. Omost LLM Loader Node

Ingångsparametrar för Omost LLM Loader Node

• llm_name: Namnet på den förtränade LLM-modellen att ladda. Tillgängliga alternativ inkluderar:
  • lllyasviel/omost-phi-3-mini-128k-8bits
  • lllyasviel/omost-llama-3-8b-4bits
  • lllyasviel/omost-dolphin-2.9-llama3-8b-4bits

Denna parameter specificerar vilken modell som ska laddas, var och en erbjuder olika kapaciteter och optimeringar.

Utgångsparametrar för Omost LLM Loader Node

• OMOST_LLM: Den laddade LLM-modellen.

Denna utgång tillhandahåller den laddade LLM-modellen, redo att generera bildbeskrivningar och kompositioner.

3.2. Omost LLM Chat Node

Ingångsparametrar för Omost LLM Chat Node

• llm: LLM-modellen som laddats av OmostLLMLoader.
• text: Textprompten för att generera en bild. Detta är huvudingången där du beskriver scenen eller elementen du vill generera.
• max_new_tokens: Maximalt antal nya tokens att generera. Detta kontrollerar längden på den genererade texten, med ett högre antal som tillåter mer detaljerade beskrivningar.
• top_p: Kontrollerar mångfalden av den genererade utdata. Ett värde närmare 1.0 inkluderar fler olika möjligheter, medan ett lägre värde fokuserar på de mest sannolika utfallen.
• temperature: Kontrollerar slumpmässigheten av den genererade utdata. Högre värden resulterar i mer slumpmässiga utdatar, medan lägre värden gör utdata mer deterministisk.
• conversation (Valfritt): Tidigare konversationskontext. Detta tillåter modellen att fortsätta från tidigare interaktioner, vilket bibehåller kontext och sammanhang.

Utgångsparametrar för Omost LLM Chat Node

• OMOST_CONVERSATION: Konversationshistoriken, inklusive det nya svaret. Detta hjälper till att spåra dialogen och bibehålla kontext över flera interaktioner.
• OMOST_CANVAS_CONDITIONING: De genererade Canvas-konditioneringsparametrarna för rendering. Dessa parametrar definierar hur elementen placeras och beskrivs på Canvasen.

3.3. Omost Render Canvas Conditioning Node

Ingångsparametrar för Omost Render Canvas Conditioning Node

• canvas_conds: Canvas-konditioneringsparametrarna. Dessa parametrar inkluderar detaljerade beskrivningar och positioner av element på Canvasen.

Utgångsparametrar för Omost Render Canvas Conditioning Node

• IMAGE: Den renderade bilden baserad på Canvas-konditioneringen. Denna utgång är den visuella representationen av den beskrivna scenen, genererad från konditioneringsparametrarna.

3.4. Omost Layout Cond Node

Ingångsparametrar för Omost Layout Cond Node

• canvas_conds: Canvas-konditioneringsparametrarna.
• clip: CLIP-modellen för textkodning. Denna modell kodar textbeskrivningarna till vektorer som kan användas av bildgeneratorn.
• global_strength: Styrkan av den globala konditioneringen. Detta kontrollerar hur starkt den övergripande beskrivningen påverkar bilden.
• region_strength: Styrkan av den regionala konditioneringen. Detta kontrollerar hur starkt de specifika regionala beskrivningarna påverkar sina respektive områden.
• overlap_method: Metoden för att hantera överlappande områden (t.ex. overlay, average). Detta definierar hur man blandar överlappande regioner i bilden.
• positive (Valfritt): Ytterligare positiv konditionering. Detta kan inkludera extra prompts eller villkor för att förbättra specifika aspekter av bilden.

Utgångsparametrar för Omost Layout Cond Node

• CONDITIONING: Konditioneringsparametrarna för bildgenerering. Dessa parametrar vägleder bildgenereringsprocessen, vilket säkerställer att utdata matchar den beskrivna scenen.
• MASK: Masken som används för konditioneringen. Detta hjälper till med felsökning och tillämpning av ytterligare villkor på specifika regioner.

3.5. Omost Load Canvas Conditioning Node

Ingångsparametrar för Omost Load Canvas Conditioning Node

• json_str: JSON-strängen som representerar Canvas-konditioneringsparametrarna. Detta möjliggör laddning av fördefinierade villkor från en JSON-fil.

Utgångsparametrar för Omost Load Canvas Conditioning Node

• OMOST_CANVAS_CONDITIONING: De laddade Canvas-konditioneringsparametrarna. Dessa parametrar initierar Canvas med specifika villkor, redo för bildgenerering.