Flux & 10 In-Context LoRA 모델
이 Flux In-Context LoRA (IC-LoRA) 워크플로는 확산 변환기를 사용하여 작업에 구애받지 않는 이미지 생성을 위한 10개의 강력한 LoRA 모델을 제공합니다. 이 모델들은 커플 프로필 디자인, 영화 스토리보드 작성, 글꼴 디자인, 홈 데코레이션, 초상화 일러스트레이션 및 사진, PPT 템플릿, 시각 효과 (모래폭풍 및 불꽃), 시각적 정체성 디자인을 포함한 다양한 창의적 응용 프로그램을 다룹니다. 각 모델은 DiTs의 In-Context 학습 기능을 활용하며, 소규모 데이터셋만으로도 효율적인 작업별 튜닝이 가능합니다.ComfyUI Flux In-Context LoRA 워크플로우
- 완전히 작동 가능한 워크플로우
- 누락된 노드 또는 모델 없음
- 수동 설정 불필요
- 멋진 시각 효과 제공
ComfyUI Flux In-Context LoRA 예제
ComfyUI Flux In-Context LoRA 설명
In-Context LoRA (IC-LoRA) 프로젝트는 Lianghua Huang, Wei Wang, Zhi-Fan Wu 및 Tongyi Lab의 협력자들에 의해 개발된, 확산 변환기 (DiTs)를 사용한 작업에 구애받지 않는 이미지 생성에 대한 획기적인 접근 방식을 나타냅니다. 그들의 혁신적인 프레임워크는 DiTs의 In-Context 생성 기능을 최소한의 튜닝과 간소화된 파이프라인을 도입하여 활용함으로써 소규모 데이터셋으로도 효율적인 작업별 튜닝을 가능하게 합니다. 그들의 작업에 대해 더 알고 싶거나 리소스에 접근하고 싶다면, 공식 리포지토리를 방문하십시오: .
1. In-Context LoRA (IC-LoRA) 소개
In-Context LoRA (IC-LoRA)는 기존의 텍스트-이미지 확산 변환기 모델이 최소한의 추가 학습으로 다양한 이미지 생성 작업을 수행할 수 있게 하는 강력하고 유연한 프레임워크입니다. In-Context LoRA의 핵심 아이디어는 이러한 모델들이 본질적으로 가지고 있는 In-Context 학습 기능을 잘 선별된 학습 데이터를 제공하고 단순하면서도 효과적인 세부 튜닝 방식을 사용하여 활용하는 것입니다.
In-Context LoRA의 작동 방식은 다음과 같습니다:
- 이미지 연결: 개별 이미지를 생성하는 대신, IC-LoRA는 관련 항목 집합을 하나의 큰 합성물로 연결합니다. 이를 통해 모델은 집합 내 일관성과 관계를 학습할 수 있습니다.
- 프롬프트 엔지니어링: 집합의 텍스트 프롬프트도 하나의 프롬프트로 연결됩니다. 이 프롬프트는 집합의 전체적인 설명으로 시작하여 각 개별 항목에 대한 세부 사항이 이어집니다. 이렇게 프롬프트를 구성함으로써, 모델은 고수준의 작업과 저수준의 요구 사항을 이해할 수 있습니다.
- Low-Rank Adaptation (LoRA): 전체 확산 모델을 세부 튜닝하는 대신, 이는 계산 비용이 많이 들기 때문에, IC-LoRA는 LoRA를 사용하여 각 특정 작업에 모델을 적응시킵니다. LoRA는 보조 매개변수의 작은 집합만 학습하며, 원본 모델 가중치는 고정된 상태로 유지됩니다. 이는 세부 튜닝 과정을 훨씬 더 효율적으로 만듭니다.
- 소규모 학습 데이터셋: IC-LoRA의 또 다른 주요 통찰력은 In-Context 학습 기능을 활성화하기 위해 대규모 데이터셋이 필요하지 않다는 것입니다. 작업당 20-100개의 고품질 이미지 세트만으로도 인상적인 결과를 얻을 수 있습니다. 이는 데이터 수집 및 계산 부담을 크게 줄입니다.
In-Context LoRA의 아름다움은 작업에 구애받지 않는 프레임워크라는 것입니다. 같은 접근 방식이 스토리보드 생성, 글꼴 디자인, 제품 디자인, 시각 효과 등 다양한 작업에 적용될 수 있습니다. 작업별 학습 데이터를 제공함으로써, IC-LoRA는 모델 아키텍처 자체를 변경할 필요 없이 각 작업에 적응할 수 있습니다.
2. 10 In-Context LoRA 모델 및 추천 설정
| 작업 | 모델 | 추천 설정 | 예시 프롬프트 |
|---|---|---|---|
| 1. 커플 프로필 디자인 | couple-profile.safetensors | 폭: 2048, 높이: 1024 | 이 두 부분 이미지에는 탐정 복장을 한 만화 고양이 커플이 묘사되어 있습니다; [왼쪽] 트렌치코트와 페도라를 쓴 검은 고양이가 돋보기를 들고 오른쪽을 응시하고 있고, [오른쪽] 나비 넥타이와 일치하는 모자를 쓴 흰 고양이가 호기심 가득한 눈썹을 올리며, 어두운 배경에서 재미있고 누아르 스타일의 장면을 연출합니다. |
| 2. 영화 스토리보드 | film-storyboard.safetensors | 폭: 1024, 높이: 1536 | [영화-장면] 활기찬 축제에서, [장면-1] 우리는 <Leo>, 수줍은 소년이 번화한 카니발 가장자리에 서서 화려한 놀이기구와 웃음소리에 넋을 잃고 있는 모습을 발견합니다, [장면-2] 그가 마지못해 대담한 게임을 시도하고 친구들이 그를 응원하는 장면으로 전환됩니다, [장면-3] 그가 거대한 인형 곰을 이기고, 자랑스럽게 모두에게 들어올리는 승리의 순간이 절정에 이릅니다. |
| 3. 글꼴 디자인 | font-design.safetensors | 폭: 1792, 높이: 1216 | 이 네 패널 이미지는 활기찬 팝아트 스타일의 장난스러운 버블 글꼴을 보여줍니다. [왼쪽-상단]에는 밝은 분홍색의 "Pop Candy"가 물방울 무늬 배경에 표시되고, [오른쪽-상단]에는 보라색으로 "Sweet Treat"가 사탕 일러스트로 둘러싸여 있으며, [왼쪽-하단]에는 밝은 색상의 혼합으로 "Yum!"이 표시됩니다; [오른쪽-하단]에는 줄무늬 배경에 "Delicious"가 표시되어 재미있고 어린이 친화적인 제품에 적합합니다. |
| 4. 홈 데코레이션 | home-decoration.safetensors | 폭: 1344, 높이: 1728 | 이 네 패널 이미지는 따뜻한 나무 톤과 아늑한 장식 요소가 있는 시골풍의 거실을 보여줍니다; [왼쪽-상단]에는 책과 양초로 가득 찬 나무 선반이 있는 큰 돌 벽난로가 있습니다; [오른쪽-상단]에는 격자 무늬 담요가 걸쳐진 빈티지 가죽 소파가 다양한 질감의 쿠션과 함께 보여집니다; [왼쪽-하단]에는 나무 팔걸이 의자 옆에 있는 사이드 테이블에 뜨거운 머그컵과 고전 서적이 놓여 있는 코너가 있습니다; [오른쪽-하단]에는 창가 좌석, 부드러운 모피 덮개, 깔끔하게 쌓인 장식용 장작이 있는 아늑한 독서 공간이 있습니다. |
| 5. 초상화 일러스트레이션 | portrait-illustration.safetensors | 폭: 1152, 높이: 1088 | 이 두 패널 이미지는 사실적인 초상화에서 재미있는 일러스트레이션으로의 변화를 보여주며, 세부 사항과 예술적 감각을 모두 포착합니다; [왼쪽] 사진은 넓은 챙 모자, 흐르는 보헤미안 드레스, 가죽 크로스 바디 백을 착용하고 번화한 시장에 서 있는 여성을 보여줍니다; [오른쪽] 일러스트레이션 패널은 그녀의 액세서리와 특징을 과장하여 보헤미안 드레스를 생동감 있는 패턴과 대담한 색상으로 묘사하고, 배경은 추상적인 시장 노점으로 단순화되어 장면에 생동감과 활기를 더합니다. |
| 6. 초상화 사진 | portrait-photography.safetensors | 폭: 1344, 높이: 1728 | 이 [네 패널] 이미지는 밝고 영감을 주는 스튜디오에서 젊은 예술가의 창작 과정을 보여줍니다; [왼쪽-상단] 그녀는 손에 붓을 들고 큰 캔버스 앞에 서서 부분적으로 완성된 그림에 생동감 있는 색상을 추가하고 있으며, [오른쪽-상단] 그녀는 다양한 미술 도구가 흩어져 있는 나무 테이블에 앉아 노트북에 아이디어를 스케치하고 있습니다, [왼쪽-하단] 그녀는 잠시 물러서서 자신의 작품을 관찰하고 안경을 조정하며 깊이 생각하는 모습을 보여줍니다, [오른쪽-하단] 그녀는 팔레트에서 직접 페인트를 혼합하여 다양한 질감을 실험하며, 그녀의 집중된 표정은 그녀의 작품에 대한 헌신을 보여줍니다. |
| 7. PPT 템플릿 | ppt-templates.safetensors | 폭: 1984, 높이: 1152 | 이 네 패널 이미지는 요리 워크숍을 위한 시골풍의 파워포인트 템플릿을 보여줍니다; [왼쪽-상단] "Farm to Table Cooking"을 따뜻하고 흙빛 톤으로 소개합니다; [오른쪽-상단] "재료," "준비," "서빙"과 같은 워크숍 섹션을 정리합니다; [왼쪽-하단] 계절별 농산물의 재료 목록을 표시합니다; [오른쪽-하단] 짧은 소개가 포함된 셰프 프로필을 포함합니다. |
| 8. 모래폭풍 시각 효과 | sandstorm-visual-effect.safetensors | 폭: 1408, 높이: 1600 | [모래폭풍-PSA] 이 두 부분 이미지는 모래폭풍 시각 효과를 통해 변형된 사이클리스트를 보여줍니다; [상단] 상단 패널은 사이클리스트가 밝고 고요한 하늘을 배경으로 맑고 탁 트인 도로에서 꾸준히 페달을 밟고 있는 모습을 강조하며, 초점과 결단력을 강조합니다, [하단] 하단 패널은 사이클리스트가 격렬한 모래폭풍에 휩싸이며, 모래 입자가 자전거와 라이더 주위에 강렬하게 소용돌이치는 장면을 변형시켜, 혼란과 힘을 강조합니다. |
| 9. 불꽃 시각 효과 | sparklers-visual-effect.safetensors | 폭: 960, 높이: 1088 | [REAL-SPARKLERS-OVERLAYS] 이 두 부분 이미지는 불꽃 오버레이로 변형된 숲 속 청혼 장면을 생생하게 묘사합니다; [상단] 첫 번째 패널은 남자가 황혼의 숲 속에서 파트너에게 반지를 들고 한쪽 무릎을 꿇고 있는 장면을 따뜻하고 자연스러운 조명으로 묘사하고, [하단] 두 번째 패널은 커플 주위에 하트 모양을 이루는 빛나는 불꽃을 도입하여 순간의 로맨스와 기쁨을 증폭시킵니다. |
| 10. 시각적 정체성 디자인 | visual-identity-design.safetensors | 폭: 1472, 높이: 1024 | 이 두 패널 이미지는 신선한 열대 과일 브랜드의 즐거운 정체성을 보여줍니다, 왼쪽 패널은 웃고 있는 파인애플 그래픽과 브랜드 이름 “Fresh Tropic”을 경쾌하고 캐주얼한 글꼴로 밝은 아쿠아 배경에 나타냅니다; [왼쪽] 오른쪽 패널은 디자인을 재사용 가능한 쇼핑 토트백에 검은색 파인애플 로고로 변환하여, 시장 환경에서 브랜드의 친근하고 환경 친화적인 분위기를 강조합니다. |
3. ComfyUI에서 Flux 및 In-Context LoRA 사용
이 Flux 및 In-Context LoRA 워크플로는 텍스트 프롬프트를 기반으로 관련 이미지 세트를 생성하기 위해 Flux 모델과 In-Context LoRA의 강력한 조합을 활용합니다. 단계별로 작동 방식을 분해해 보겠습니다.
3.1. 효율적인 워크플로를 위한 사전 로드된 Flux 및 In-Context LoRA 모델
우리 플랫폼은 이미 Flux 모델과 10개의 In-Context LoRA 모델을 사용할 준비가 되어 있습니다. 이는 워크플로를 더 쉽게 하고 시간을 절약합니다. 원하는 그룹을 선택하고 창작을 시작하기만 하면 됩니다.
3.2. 사전 설정된 프롬프트를 기반으로 완벽한 프롬프트 작성하기
이 워크플로의 가장 중요한 부분은 생성하고자 하는 주요 아이디어를 포착하는 텍스트 설명입니다. 우리는 앞서 언급한 목록의 각 In-Context LoRA 모델에 대한 프롬프트를 이미 작성했습니다. 자신의 프롬프트를 작성할 때, 이러한 예시를 가이드로 사용하십시오.
3.3. 해상도 및 치수 사용자 지정
필요에 맞는 시각 자료를 만들기 위해 너비와 높이 설정을 원하는 크기에 맞게 변경하십시오. 우리는 또한 각 In-Context LoRA 모델의 추천 크기를 시작점으로 제공했습니다.
3.4. Flux 샘플러
Flux 샘플러 노드는 Flux 샘플링 프로세스를 관리하고 더 나은 결과를 위해 생성 매개변수를 최적화합니다. 주요 매개변수에는 다음이 포함됩니다:
- Seed (1): 시드 값은 동일한 설정에서 일관된 출력을 보장합니다. 시드를 조정하면 Flux 생성이 다양한 결과를 생성할 수 있습니다.
- Steps (50): 이 매개변수는 Flux 샘플링 프로세스의 스텝 수를 정의합니다. 스텝 수가 많을수록 품질이 향상되지만 처리 시간이 더 많이 소요됩니다. 여기서는 50 스텝이 균형 잡힌 옵션을 제공합니다.
- Guidance (3): 안내 강도를 결정합니다. 높은 값 (예: 3)은 Flux 생성 출력이 입력 프롬프트와 더 밀접하게 일치하여 의도의 정확한 표현을 보장합니다.
- Max Shift (null): 최대 변위 또는 변형 범위를 정의합니다. "null" 설정은 기본 또는 무제한 범위 사용을 나타냅니다.
- Base Shift (null): 최대 변위와 유사하게 기본 변형 강도를 조정합니다. "null"로 설정하면 기본 구성이 적용됩니다.
- Denoise (1): Flux 생성 중 디노이징 강도를 조정합니다. 값 1은 가벼운 디노이징을 적용하여 사소한 불일치를 효과적으로 제거하면서 선명도를 유지합니다.
Flux와 In-Context LoRA의 조합은 흥미로운 시각 콘텐츠를 만드는 가능성을 열어줍니다. 이러한 새로운 모델을 시도하고 창의력을 최대한 발휘해 보십시오.
라이센스
라이센스 파일 보기:
FLUX.1 [dev] 모델은 Black Forest Labs. Inc.에 의해 FLUX.1 [dev] 비상업적 라이센스 하에 라이센스됩니다. 저작권 Black Forest Labs. Inc.
블랙 포레스트 랩스, 주식회사는 이 모델의 사용과 관련하여 계약, 불법 행위 또는 기타 방식으로 어떠한 청구, 손해 또는 기타 책임에 대해 책임을 지지 않습니다.
