Omost | 이미지 생성 향상

1. Omost란 무엇인가?

Omost는 "Your image is almost there!"의 줄임말로, 대형 언어 모델의 (LLM) 코딩 능력을 이미지 생성, 보다 정확히는 이미지 구성 능력으로 변환하는 혁신적인 프로젝트입니다. "Omost"라는 이름은 이중 의미를 가지고 있습니다: Omost를 사용할 때마다 이미지는 거의 완성된 상태를 의미하며, 또한 "omni" (다중 모달)와 "most" (최대한 활용)를 의미합니다.

Omost는 Omost의 가상 캔버스 에이전트를 사용하여 이미지 시각적 콘텐츠를 구성하는 코드를 생성하는 사전 훈련된 LLM 모델을 제공합니다. 이 캔버스는 특정 이미지 생성기 구현에 의해 최종 이미지를 생성할 수 있습니다. Omost는 이미지 생성 과정을 단순화하고 향상시키기 위해 설계되었으며, AI 아티스트에게 접근 가능하고 효율적으로 만듭니다.

2. Omost의 작동 원리

2.1. 캔버스와 설명

Omost는 이미지의 요소를 설명하고 배치하는 가상 캔버스를 사용합니다. 캔버스는 9x9=81 위치의 그리드로 나뉘어 요소를 정확하게 배치할 수 있습니다. 이러한 위치는 경계 상자로 더 세분화되어 각 요소에 대해 729개의 다른 위치를 제공합니다. 이 구조화된 접근 방식은 요소가 정확하고 일관되게 배치되도록 보장합니다.

2.2. 깊이와 색상

캔버스의 요소에는 distance_to_viewer 매개변수가 할당되어, 배경에서 전경으로 레이어를 정렬하는 데 도움이 됩니다. 이 매개변수는 상대적 깊이 표시기로 작용하여 가까운 요소가 더 멀리 있는 요소 앞에 나타나도록 합니다. 추가로, HTML_web_color_name 매개변수는 초기 렌더링을 위한 대략적인 색상 표현을 제공하며, 이는 확산 모델을 사용하여 정제될 수 있습니다. 이 초기 색상은 세부 조정 전에 구성을 시각화하는 데 도움이 됩니다.

2.3. 프롬프트 엔지니어링

Omost는 요소의 간결하고 독립적인 설명인 하위 프롬프트를 사용하여 상세하고 일관된 이미지 구성을 생성합니다. 각 하위 프롬프트는 75 토큰 미만이며, 독립적으로 요소를 설명합니다. 이러한 하위 프롬프트는 완전한 프롬프트로 병합되어 LLM이 처리할 수 있도록 하여 생성된 이미지가 정확하고 의미적으로 풍부하도록 보장합니다. 이 방법은 텍스트 인코딩이 효율적이고 의미적 절단 오류를 피하도록 합니다.

2.4. 지역 프롬프터

Omost는 지역 프롬프트를 처리하기 위해 고급 주의 조작 기술을 구현하여, 주어진 설명에 따라 이미지의 각 부분이 정확하게 생성되도록 합니다. 주의 점수 조작과 같은 기술은 마스킹된 영역 내의 활성화가 장려되고 외부는 억제되도록 보장합니다. 이 정밀한 주의 조절은 고품질의 지역별 이미지 생성을 가능하게 합니다.

3. ComfyUI Omost 노드의 상세 설명

3.1. Omost LLM 로더 노드

Omost LLM 로더 노드의 입력 매개변수

• llm_name: 로드할 사전 훈련된 LLM 모델의 이름. 사용 가능한 옵션은 다음과 같습니다:
  • lllyasviel/omost-phi-3-mini-128k-8bits
  • lllyasviel/omost-llama-3-8b-4bits
  • lllyasviel/omost-dolphin-2.9-llama3-8b-4bits

이 매개변수는 로드할 모델을 지정하며, 각 모델은 다른 기능과 최적화를 제공합니다.

Omost LLM 로더 노드의 출력 매개변수

• OMOST_LLM: 로드된 LLM 모델.

이 출력은 로드된 LLM을 제공하여 이미지 설명 및 구성을 생성할 준비가 되어 있습니다.

3.2. Omost LLM 채팅 노드

Omost LLM 채팅 노드의 입력 매개변수

• llm: OmostLLMLoader에 의해 로드된 LLM 모델.
• text: 이미지를 생성할 텍스트 프롬프트. 이 입력은 생성하고자 하는 장면이나 요소를 설명하는 주요 입력입니다.
• max_new_tokens: 생성할 새 토큰의 최대 수. 이는 생성된 텍스트의 길이를 제어하며, 숫자가 클수록 더 상세한 설명이 가능합니다.
• top_p: 생성된 출력의 다양성을 제어합니다. 1.0에 가까운 값은 더 다양한 가능성을 포함하고, 낮은 값은 가장 가능성이 높은 결과에 집중합니다.
• temperature: 생성된 출력의 무작위성을 제어합니다. 값이 높을수록 더 무작위한 출력이 생성되고, 값이 낮을수록 출력이 더 결정적이 됩니다.
• conversation (선택 사항): 이전 대화 문맥. 이를 통해 모델이 이전 상호작용에서 계속하여 문맥과 일관성을 유지할 수 있습니다.

Omost LLM 채팅 노드의 출력 매개변수

• OMOST_CONVERSATION: 새로운 응답을 포함한 대화 기록. 이는 대화를 추적하고 여러 상호작용 간에 문맥을 유지하는 데 도움이 됩니다.
• OMOST_CANVAS_CONDITIONING: 렌더링을 위한 생성된 캔버스 조정 매개변수. 이 매개변수는 캔버스에서 요소가 배치되고 설명되는 방식을 정의합니다.

3.3. Omost 렌더 캔버스 조정 노드

Omost 렌더 캔버스 조정 노드의 입력 매개변수

• canvas_conds: 캔버스 조정 매개변수. 이 매개변수는 캔버스에서 요소의 상세 설명과 위치를 포함합니다.

Omost 렌더 캔버스 조정 노드의 출력 매개변수

• IMAGE: 캔버스 조정을 기반으로 렌더링된 이미지. 이 출력은 조정 매개변수에서 생성된 장면의 시각적 표현입니다.

3.4. Omost 레이아웃 조정 노드

Omost 레이아웃 조정 노드의 입력 매개변수

• canvas_conds: 캔버스 조정 매개변수.
• clip: 텍스트 인코딩을 위한 CLIP 모델. 이 모델은 텍스트 설명을 이미지 생성기가 사용할 수 있는 벡터로 인코딩합니다.
• global_strength: 전역 조정의 강도. 이는 전체 설명이 이미지에 미치는 강도를 제어합니다.
• region_strength: 지역 조정의 강도. 이는 특정 지역 설명이 해당 영역에 미치는 강도를 제어합니다.
• overlap_method: 중첩 영역 처리 방법 (예: overlay, average). 이는 이미지에서 중첩 영역을 혼합하는 방식을 정의합니다.
• positive (선택 사항): 추가적인 긍정적 조정. 이는 이미지의 특정 측면을 향상시키기 위한 추가 프롬프트나 조건을 포함할 수 있습니다.

Omost 레이아웃 조정 노드의 출력 매개변수

• CONDITIONING: 이미지 생성 조정 매개변수. 이 매개변수는 이미지 생성 과정을 안내하여 출력이 설명된 장면과 일치하도록 보장합니다.
• MASK: 조정에 사용된 마스크. 이는 디버깅 및 특정 영역에 추가 조건을 적용하는 데 도움이 됩니다.

3.5. Omost 캔버스 조정 로드 노드

Omost 캔버스 조정 로드 노드의 입력 매개변수

• json_str: 캔버스 조정 매개변수를 나타내는 JSON 문자열. 이는 JSON 파일에서 미리 정의된 조건을 로드할 수 있게 합니다.

Omost 캔버스 조정 로드 노드의 출력 매개변수

• OMOST_CANVAS_CONDITIONING: 로드된 캔버스 조정 매개변수. 이 매개변수는 특정 조건으로 캔버스를 초기화하여 이미지 생성을 준비합니다.