Linear Mask Dilation | 멋진 애니메이션

ComfyUI Linear Mask Dilation

댄서와 같은 주제를 변환하여 마스크 확장 효과를 통해 다양한 장면을 이동하는 멋진 비디오 애니메이션을 만드세요. 이 워크플로우는 단일 주제 비디오에 사용하도록 설계되었습니다.

ComfyUI Linear Mask Dilation 워크플로우 사용 방법:

1. Input 섹션에 주제 비디오를 업로드하세요.
2. 최종 비디오의 원하는 너비와 높이, 그리고 “every_nth”를 사용하여 입력 비디오의 몇 프레임을 건너뛸지 선택하세요. “frame_load_cap”으로 렌더링할 총 프레임 수를 제한할 수도 있습니다.
3. 긍정적 및 부정적 프롬프트를 작성하세요. 배치 프레임 시간을 설정하여 장면 전환이 발생할 시점을 맞추세요.
4. 각 IP 어댑터 주제 마스크 색상에 대한 이미지를 업로드하세요:
   1. 흰색 = 주제 (댄서)
   2. 검은색 = 첫 번째 배경
   3. 빨간색 = 빨간 확장 마스크 배경
   4. 녹색 = 녹색 확장 마스크 배경
   5. 파란색 = 파란 확장 마스크 배경
5. “Models” 섹션에서 좋은 LCM 체크포인트를 로드하세요 (Machine Delusions의 ParadigmLCM을 사용합니다).
   1. 모델 로더 아래의 Lora 스태커를 사용하여 필요한 loras를 추가하세요.
6. Queue Prompt를 클릭하세요.

Input

• 상단 왼쪽의 두 입력을 사용하여 너비와 높이를 조정할 수 있습니다.
• every_nth는 입력 프레임 중 건너뛸 프레임 수를 설정합니다 (2 = 매 프레임 건너뜀).
• 왼쪽 하단의 숫자 필드는 업로드된 입력 비디오에 대한 정보를 표시합니다: 총 프레임 수, 너비, 높이, 그리고 FPS.
• 주제 마스크 비디오가 이미 생성된 경우 (흰색 주제에 검은색 배경이어야 함), “Override Subject Mask” 섹션을 활성화하고 마스크 비디오를 업로드할 수 있습니다. “Segment Subject” 섹션을 비활성화하여 처리 시간을 절약할 수도 있습니다.
• 때때로 분할된 주제가 완벽하지 않을 수 있으며, 위의 오른쪽 하단의 미리보기 상자를 사용하여 마스크 품질을 확인할 수 있습니다. 이 경우 “Florence2Run” 노드의 프롬프트를 조정하여 “head”, “chest”, “legs” 등과 같은 다른 신체 부위를 타겟팅하여 더 나은 결과를 얻을 수 있습니다.

Prompt

• 배치 형식을 사용하여 긍정적 프롬프트를 설정하세요:
  • 예: “0”: “4k, masterpiece, 1girl standing on the beach, absurdres”, “25”: “HDR, sunset scene, 1girl with black hair and a white jacket, absurdres”, …
• 부정적 프롬프트는 일반 형식입니다. 원한다면 임베딩을 추가할 수 있습니다.

Mask Dilations

• 각 색상 그룹은 생성될 확장 마스크의 색상에 해당합니다.
• 마스크의 모양, 확장 속도 및 프레임 지연을 다음 노드를 사용하여 설정할 수 있습니다:
  • shape: “circle”은 가장 정확하지만 생성 시간이 더 오래 걸립니다. 최종 렌더링을 수행할 준비가 되었을 때 설정하세요. “square”는 빠르게 계산되지만 덜 정확하여 워크플로우를 테스트하고 IP 어댑터 이미지를 결정하는 데 적합합니다.
  • dilate_per_frame: 마스크가 얼마나 빨리 확장되어야 하는지, 큰 숫자 = 더 빠른 확장 속도
  • delay: 마스크가 확장되기 전에 기다려야 할 프레임 수.
• 이미 생성된 복합 마스크 비디오가 있는 경우 “Override Composite Mask” 그룹을 활성화하고 업로드할 수 있습니다. 덮어쓰는 경우 확장 마스크 그룹을 우회하여 처리 시간을 절약하는 것이 좋습니다.

Models

• 체크포인트를 위해 좋은 LCM 모델을 사용하세요. Machine Delusions의 ParadigmLCM을 추천합니다.
• 최종 결과를 더욱 향상시키기 위해 AnimateLCM_sd15_t2v_lora.safetensors를 낮은 가중치 0.18로 지정할 수 있습니다.
• 모델 로더 아래의 파란색 Lora 스태커를 사용하여 추가 Loras를 모델에 추가하세요.

AnimateDiff

• 제가 사용한 것 대신 다른 Motion Lora를 설정할 수 있습니다 (LiquidAF-0-1.safetensors).
• 결과에 더 많은 또는 적은 움직임을 원한다면 Multival Dynamic float 값을 조정하세요.

IP Adapters

• 여기서 각 확장 마스크와 비디오 주제를 렌더링하는 데 사용될 참조 주제를 지정할 수 있습니다.
• 각 그룹의 색상은 타겟 마스크를 나타냅니다:
  • 흰색 = 주제 (댄서)
  • 검은색 = 첫 번째 배경
  • 빨간색 = 빨간 확장 마스크 배경
  • 녹색 = 녹색 확장 마스크 배경
  • 파란색 = 파란 확장 마스크 배경
• 최종 렌더링이 입력 IP 어댑터 이미지를 더 가깝게 따르도록 하려면 IPA Unified Loader 그룹에서 IPAdapter 프리셋을 VIT-G에서 PLUS로 변경할 수 있습니다.

ControlNet

• 이 워크플로우는 AD, Lineart, QR Code, Depth, OpenPose를 포함한 5개의 다른 controlnet을 사용합니다.
• controlnet의 모든 입력은 자동으로 생성됩니다.
• 원한다면 “Override Depth” 및 “Override Openpose” 그룹을 활성화하여 Depth 및 Openpose controlnet의 입력 비디오를 덮어쓸 수 있습니다:

• 덮어쓸 때 “Generate Depth” 및 “Generate Openpose” 그룹을 비활성화하여 처리 시간을 절약하는 것이 좋습니다.

Sampler

• 기본적으로 HiRes Fix 샘플러 그룹은 테스트 시 처리 시간을 절약하기 위해 비활성화됩니다.
• 확장 마스크 설정을 실험할 때 시간을 절약하기 위해 샘플러 그룹을 우회하는 것이 좋습니다.
• 최종 렌더링 시 HiRes Fix 그룹을 활성화하여 최종 결과를 업스케일하고 세부 사항을 추가할 수 있습니다.

Output

• 출력 그룹은 두 개가 있습니다: 왼쪽은 표준 샘플러 출력용, 오른쪽은 HiRes Fix 샘플러 출력용입니다.
• “FileNamePrefixDateDirFirst” 노드의 “custom_directory” 문자열을 변경하여 파일이 저장될 위치를 변경할 수 있습니다. 기본적으로 이 노드는 ComfyUI “output” 디렉토리의 타임스탬프된 디렉토리에 출력 비디오를 저장합니다.
  • 예: …/ComfyUI/output/240812/<custom_directory>/<my_video>.mp4

About Author

Akatz AI:

• 웹사이트:
• https://www.youtube.com/@akatz_ai
• https://www.instagram.com/akatz.ai/
• https://www.tiktok.com/@akatz_ai
• https://x.com/akatz_ai
• https://github.com/akatz-ai

연락처:

• 이메일: akatzfey@sendysoftware.com