FLUX NF4 | FLUX 이미지 생성 가속화

FLUX는 에서 개발한 새로운 이미지 생성 모델입니다. 이 FLUX NF4 모델은 lllyasviel에 의해 만들어졌으며, 자세한 내용은 를 방문하세요.

FLUX에 대해

FLUX 모델은 RunComfy에 사전 로드되어 있으며, flux/flux-schnell 및 flux/flux-dev로 명명되었습니다.

• RunComfy 중형 머신을 시작할 때: 체크포인트 flux-schnell, fp8과 클립 t5_xxl_fp8을 선택하여 메모리 부족 문제를 피하세요.
• RunComfy 대형 또는 그 이상 머신을 시작할 때: 큰 체크포인트 flux-dev, default와 높은 클립 t5_xxl_fp16을 선택하세요.

자세한 내용은 을 방문하세요.

FLUX NF4 소개

FLUX NF4는 Stable Diffusion 워크플로우에서 성능 최적화를 위해 설계된 전문 모델 체크포인트입니다. 저자 lllyasviel에 의해 개발된 이 모델은 NF4 (Normal Float 4-bit) 양자화를 활용하여 기존 FP8 (Float 8-bit) 모델에 비해 추론 속도를 크게 향상시키고 메모리 사용량을 줄입니다. FLUX NF4는 NVIDIA RTX 3000 및 4000 시리즈와 같은 최신 GPU 아키텍처에서 효율성을 높이기 위한 모델 시리즈의 일부입니다. 모델에는 "Distilled CFG Guidance"와 같은 고급 기능이 포함되어 있어 더 정확한 프롬프트로 이미지를 생성하는 과정을 개선합니다. RTX 4090과 같은 고급 GPU에서 일반 FLUX 모델은 이미지를 생성하는 데 약 50초가 걸리지만, FLUX NF4는 약 13-14초 만에 이미지를 생성합니다. 이는 최상급 하드웨어를 갖추지 않은 사용자에게도 FLUX NF4를 사용할 수 있게 합니다.

ComfyUI FLUX NF4 사용 방법

1. 모델 로드: CheckpointLoaderNF4

이 노드는 FLUX 모델 (flux/flux1-dev-bnb-nf4-v2.safetensors)을 로드합니다. 모델은 생성된 이미지의 특성과 동작을 제어하는 기본 프레임워크를 제공하여 이미지 생성 프로세스를 안내합니다.

2. 무작위 노이즈 생성: RandomNoise

이 노드는 이미지 생성을 위한 초기 입력으로 무작위 노이즈 패턴을 생성합니다. 노이즈는 최종 결과로 변환될 시작 지점 역할을 합니다.

3. 모델 샘플링 Flux: ModelSamplingFlux

ModelSamplingFlux 노드는 해상도 및 기타 매개변수에 따라 모델의 샘플링 동작을 조정합니다. 모델의 출력을 최적화하여 변환이 적용될 때 이미지 품질이 유지되도록 합니다. 샘플링 동작을 조정하지 않으려면 이 노드를 우회할 수 있습니다.

4. 이미지 크기 설정: PrimitiveNode (너비 및 높이)

이 노드는 이미지의 크기(너비 및 높이)를 정의하며, 일반적으로 1024x1024로 설정됩니다. 지정된 크기는 생성된 이미지의 해상도와 세부 수준에 영향을 미칩니다.

5. CLIP 텍스트 조건화: CLIPTextEncode (긍정적 및 부정적)

CLIPTextEncode 노드는 텍스트 프롬프트를 이미지 생성 프로세스를 안내하는 조건화 데이터로 인코딩합니다. 긍정적 프롬프트는 원하는 기능을 강화하고, 부정적 프롬프트는 원하지 않는 기능을 억제하여 출력의 내용과 스타일을 제어할 수 있습니다.

6. Flux 안내 적용: FluxGuidance

FluxGuidance 노드는 조건화 데이터에 안내 스케일(예: 3.5)을 적용합니다. 이 스케일은 최종 결과에 대한 텍스트 프롬프트의 영향을 조정하여 생성된 출력을 미세 조정할 수 있습니다.

7. BasicScheduler로 스케줄링: BasicScheduler

이 노드는 이미지 생성 프로세스의 스케줄링을 관리하여 노이즈에서 최종 이미지로의 전환을 제어합니다. 스케줄링 매개변수는 생성 중 이미지가 얼마나 빨리 부드럽게 변하는지에 영향을 미칩니다.

8. 사용자 정의 샘플링: SamplerCustomAdvanced

이 고급 샘플러 노드는 잠재 이미지에 추가 변환을 적용하여 이미지를 정제합니다. 노이즈, 가이더, 샘플러, 시그마 및 잠재 이미지 데이터를 통합하여 고품질 출력을 생성합니다.

9. VAE 디코딩: VAEDecode

VAEDecode 노드는 잠재 이미지를 VAE (Variational Autoencoder)를 사용하여 실제 시각적 이미지로 디코딩합니다. 이 단계는 추상적인 잠재 공간을 가시적이고 해석 가능한 이미지로 변환하는 데 중요합니다.

10. 이미지 업스케일링: UpscaleModelLoader 및 UltimateSDUpscale

UpscaleModelLoader는 업스케일링 모델 (예: 4x-UltraSharp.pth)을 로드하고, UltimateSDUpscale 노드는 이 모델을 적용하여 이미지 해상도를 향상시킵니다. 이 단계는 최종 이미지가 더 높은 해상도에서도 선명하고 세부적으로 유지되도록 합니다.

라이선스

라이선스 파일 보기:

FLUX.1 [dev] 모델은 Black Forest Labs. Inc.에 의해 FLUX.1 [dev] 비상업적 라이선스 하에 라이선스됩니다. 저작권 Black Forest Labs. Inc.

어떠한 경우에도 Black Forest Labs, Inc.는 이 모델의 사용으로 인해 발생하는 계약, 불법 행위 또는 기타 책임에 대해 어떠한 청구, 손해 또는 기타 책임도 지지 않습니다.