Flux & 10 In-Context LoRA 모델

In-Context LoRA (IC-LoRA) 프로젝트는 Lianghua Huang, Wei Wang, Zhi-Fan Wu 및 Tongyi Lab의 협력자들에 의해 개발된, 확산 변환기 (DiTs)를 사용한 작업에 구애받지 않는 이미지 생성에 대한 획기적인 접근 방식을 나타냅니다. 그들의 혁신적인 프레임워크는 DiTs의 In-Context 생성 기능을 최소한의 튜닝과 간소화된 파이프라인을 도입하여 활용함으로써 소규모 데이터셋으로도 효율적인 작업별 튜닝을 가능하게 합니다. 그들의 작업에 대해 더 알고 싶거나 리소스에 접근하고 싶다면, 공식 리포지토리를 방문하십시오: .

1. In-Context LoRA (IC-LoRA) 소개

In-Context LoRA (IC-LoRA)는 기존의 텍스트-이미지 확산 변환기 모델이 최소한의 추가 학습으로 다양한 이미지 생성 작업을 수행할 수 있게 하는 강력하고 유연한 프레임워크입니다. In-Context LoRA의 핵심 아이디어는 이러한 모델들이 본질적으로 가지고 있는 In-Context 학습 기능을 잘 선별된 학습 데이터를 제공하고 단순하면서도 효과적인 세부 튜닝 방식을 사용하여 활용하는 것입니다.

In-Context LoRA의 작동 방식은 다음과 같습니다:

1. 이미지 연결: 개별 이미지를 생성하는 대신, IC-LoRA는 관련 항목 집합을 하나의 큰 합성물로 연결합니다. 이를 통해 모델은 집합 내 일관성과 관계를 학습할 수 있습니다.
2. 프롬프트 엔지니어링: 집합의 텍스트 프롬프트도 하나의 프롬프트로 연결됩니다. 이 프롬프트는 집합의 전체적인 설명으로 시작하여 각 개별 항목에 대한 세부 사항이 이어집니다. 이렇게 프롬프트를 구성함으로써, 모델은 고수준의 작업과 저수준의 요구 사항을 이해할 수 있습니다.
3. Low-Rank Adaptation (LoRA): 전체 확산 모델을 세부 튜닝하는 대신, 이는 계산 비용이 많이 들기 때문에, IC-LoRA는 LoRA를 사용하여 각 특정 작업에 모델을 적응시킵니다. LoRA는 보조 매개변수의 작은 집합만 학습하며, 원본 모델 가중치는 고정된 상태로 유지됩니다. 이는 세부 튜닝 과정을 훨씬 더 효율적으로 만듭니다.
4. 소규모 학습 데이터셋: IC-LoRA의 또 다른 주요 통찰력은 In-Context 학습 기능을 활성화하기 위해 대규모 데이터셋이 필요하지 않다는 것입니다. 작업당 20-100개의 고품질 이미지 세트만으로도 인상적인 결과를 얻을 수 있습니다. 이는 데이터 수집 및 계산 부담을 크게 줄입니다.

In-Context LoRA의 아름다움은 작업에 구애받지 않는 프레임워크라는 것입니다. 같은 접근 방식이 스토리보드 생성, 글꼴 디자인, 제품 디자인, 시각 효과 등 다양한 작업에 적용될 수 있습니다. 작업별 학습 데이터를 제공함으로써, IC-LoRA는 모델 아키텍처 자체를 변경할 필요 없이 각 작업에 적응할 수 있습니다.

2. 10 In-Context LoRA 모델 및 추천 설정

3. ComfyUI에서 Flux 및 In-Context LoRA 사용

이 Flux 및 In-Context LoRA 워크플로는 텍스트 프롬프트를 기반으로 관련 이미지 세트를 생성하기 위해 Flux 모델과 In-Context LoRA의 강력한 조합을 활용합니다. 단계별로 작동 방식을 분해해 보겠습니다.

3.1. 효율적인 워크플로를 위한 사전 로드된 Flux 및 In-Context LoRA 모델

우리 플랫폼은 이미 Flux 모델과 10개의 In-Context LoRA 모델을 사용할 준비가 되어 있습니다. 이는 워크플로를 더 쉽게 하고 시간을 절약합니다. 원하는 그룹을 선택하고 창작을 시작하기만 하면 됩니다.

3.2. 사전 설정된 프롬프트를 기반으로 완벽한 프롬프트 작성하기

이 워크플로의 가장 중요한 부분은 생성하고자 하는 주요 아이디어를 포착하는 텍스트 설명입니다. 우리는 앞서 언급한 목록의 각 In-Context LoRA 모델에 대한 프롬프트를 이미 작성했습니다. 자신의 프롬프트를 작성할 때, 이러한 예시를 가이드로 사용하십시오.

3.3. 해상도 및 치수 사용자 지정

필요에 맞는 시각 자료를 만들기 위해 너비와 높이 설정을 원하는 크기에 맞게 변경하십시오. 우리는 또한 각 In-Context LoRA 모델의 추천 크기를 시작점으로 제공했습니다.

3.4. Flux 샘플러

Flux 샘플러 노드는 Flux 샘플링 프로세스를 관리하고 더 나은 결과를 위해 생성 매개변수를 최적화합니다. 주요 매개변수에는 다음이 포함됩니다:

• Seed (1): 시드 값은 동일한 설정에서 일관된 출력을 보장합니다. 시드를 조정하면 Flux 생성이 다양한 결과를 생성할 수 있습니다.
• Steps (50): 이 매개변수는 Flux 샘플링 프로세스의 스텝 수를 정의합니다. 스텝 수가 많을수록 품질이 향상되지만 처리 시간이 더 많이 소요됩니다. 여기서는 50 스텝이 균형 잡힌 옵션을 제공합니다.
• Guidance (3): 안내 강도를 결정합니다. 높은 값 (예: 3)은 Flux 생성 출력이 입력 프롬프트와 더 밀접하게 일치하여 의도의 정확한 표현을 보장합니다.
• Max Shift (null): 최대 변위 또는 변형 범위를 정의합니다. "null" 설정은 기본 또는 무제한 범위 사용을 나타냅니다.
• Base Shift (null): 최대 변위와 유사하게 기본 변형 강도를 조정합니다. "null"로 설정하면 기본 구성이 적용됩니다.
• Denoise (1): Flux 생성 중 디노이징 강도를 조정합니다. 값 1은 가벼운 디노이징을 적용하여 사소한 불일치를 효과적으로 제거하면서 선명도를 유지합니다.

Flux와 In-Context LoRA의 조합은 흥미로운 시각 콘텐츠를 만드는 가능성을 열어줍니다. 이러한 새로운 모델을 시도하고 창의력을 최대한 발휘해 보십시오.

라이센스

라이센스 파일 보기:

FLUX.1 [dev] 모델은 Black Forest Labs. Inc.에 의해 FLUX.1 [dev] 비상업적 라이센스 하에 라이센스됩니다. 저작권 Black Forest Labs. Inc.

블랙 포레스트 랩스, 주식회사는 이 모델의 사용과 관련하여 계약, 불법 행위 또는 기타 방식으로 어떠한 청구, 손해 또는 기타 책임에 대해 책임을 지지 않습니다.