업샘플링을 통한 일관된 스타일 전환

Inner-Reflections가 작성한 이 업샘플링 가이드는 일관된 비디오 스타일 전환을 달성하기 위한 업샘플링 방법을 탐구하는 데 크게 기여합니다.

1. 소개: 업샘플링을 통한 잠재적 노이즈 제어

잠재적 노이즈는 안정적인 확산에서 우리가 하는 모든 것의 기초입니다. 우리가 이것으로 무엇을 달성할 수 있는지 생각해보면 놀랍습니다. 그러나 일반적으로 우리는 노이즈를 생성하기 위해 무작위 숫자를 사용해야 합니다. 만약 우리가 그것을 제어할 수 있다면 어떨까요?

저는 업샘플링을 처음 사용하는 사람이 아닙니다. 이 방법은 오랜 시간 동안 여러 가지 방식으로 사용되었습니다. 그러나 지금까지는 결과에 만족하지 못했습니다. 저는 몇 달 동안 최상의 설정을 찾기 위해 노력했으며 이 가이드를 즐기시기 바랍니다.

AnimateDiff/Hotshot와 함께 샘플링 프로세스를 사용하여 원래 비디오를 나타내는 노이즈를 찾고, 따라서 모든 종류의 스타일 전환을 더 쉽게 만듭니다. 특히 Hotshot의 8 프레임 컨텍스트 윈도우를 고려할 때 일관성을 유지하는 데 도움이 됩니다.

이 업샘플링 과정은 본질적으로 입력 비디오를 원래의 움직임과 구성을 유지하는 잠재적 노이즈로 변환합니다. 그런 다음 이 표현적 노이즈를 무작위 노이즈 대신 확산 과정의 시작점으로 사용할 수 있습니다. 이는 AI가 목표 스타일을 적용하면서 시간적으로 일관성을 유지할 수 있게 합니다.

이 가이드는 AnimateDiff 및/또는 Hotshot을 설치했다고 가정합니다. 아직 설치하지 않았다면, 가이드는 여기에서 확인할 수 있습니다:

AnimateDiff: https://civitai.com/articles/2379

Hotshot XL 가이드: https://civitai.com/articles/2601/

리소스 링크 - 이 워크플로우를 사용하여 Civitai에 비디오를 게시하려면: https://civitai.com/models/544534

2. 이 워크플로우의 시스템 요구사항

NVIDIA 그래픽 카드가 장착된 Windows 컴퓨터로 VRAM이 최소 12GB 이상이어야 합니다. RunComfy 플랫폼에서는 Medium (VRAM 16GB) 이상 등급의 머신을 사용하십시오. 이 과정은 표준 AnimateDiff 또는 Hotshot 워크플로우보다 더 많은 VRAM을 필요로 하지 않지만, 본질적으로 확산 과정을 두 번 실행하므로 거의 두 배의 시간이 소요됩니다 - 한 번은 업샘플링을 위해, 한 번은 목표 스타일로 다시 샘플링하기 위해.

3. 노드 설명 및 설정 가이드

노드: Custom Sampler

이것의 주요 부분은 일반 KSampler에서 보통 볼 수 있는 모든 설정을 조각으로 나누는 Custom Sampler를 사용하는 것입니다:

이것이 주요 KSampler 노드입니다 - 업샘플링을 위해 노이즈/시드를 추가하는 것은 효과가 없습니다 (제가 알고 있는 한). CFG는 중요합니다 - 일반적으로 이 단계에서 CFG가 높을수록 비디오가 원본과 더 비슷하게 보입니다. 높은 CFG는 업샘플러가 입력과 더 가깝게 일치하도록 강제합니다.

노드: KSampler Select

가장 중요한 것은 수렴하는 샘플러를 사용하는 것입니다! 이것이 우리가 euler를 사용하는 이유입니다. euler a는 더 많은 무작위성/불안정을 초래합니다. 각 단계에서 노이즈를 추가하는 조상 샘플러는 업샘플링이 깔끔하게 수렴하는 것을 방해합니다. 더 많은 정보를 원하시면 언제나 를 유용하게 찾았습니다. reddit의 @spacepxl는 DPM++ 2M Karras가 사용 사례에 따라 더 정확한 샘플러일 수 있다고 제안합니다.

노드: Align Your Step Scheduler

여기서는 어떤 스케줄러도 잘 작동합니다 - Align Your Steps (AYS)는 16단계에서 좋은 결과를 얻으므로 계산 시간을 줄이기 위해 이를 사용했습니다. 더 많은 단계는 더 완전히 수렴하지만 점점 감소하는 수익을 가져옵니다.

노드: Flip Sigma

Flip Sigma는 업샘플링을 발생시키는 마법의 노드입니다! 시그마 스케줄을 뒤집음으로써, 우리는 깨끗한 입력 이미지에서 대표적인 노이즈로 확산 과정을 역전합니다.

노드: Prompt

이 방법에서 프롬프트는 상당히 중요합니다. 좋은 프롬프트는 특히 변환을 더 많이 하고 싶을 때 비디오의 일관성을 크게 향상시킬 수 있습니다. 이 예에서는 동일한 조건을 업샘플러와 리샘플러 모두에 제공했습니다. 일반적으로 잘 작동하는 것 같습니다 - 그러나 업샘플러에서 빈 조건을 넣는 것도 괜찮습니다 - 저는 이것이 스타일 전환을 개선하는 데 도움이 된다고 생각합니다, 약간의 일관성 손실이 있을 수 있지만.

노드: Resampling

리샘플링을 위해서는 노이즈 추가를 꺼야 합니다 (AnimateDiff 샘플 설정에서 빈 노이즈를 사용하는 것도 같은 효과가 있습니다 - 제 워크플로우에서는 둘 다 사용했습니다). 리샘플링 중에 노이즈를 추가하면 기본 설정에서는 일관성이 없는, 노이즈가 많은 결과를 얻습니다. 그렇지 않다면 낮은 CFG와 약한 ControlNet 설정을 조합하여 시작하는 것이 가장 일관된 결과를 제공하면서 프롬프트가 스타일에 영향을 미칠 수 있게 합니다.

기타 설정

나머지 설정은 개인적인 선호도에 따릅니다. 저는 이 워크플로우를 가능한 한 간단하게 만들면서도 주요 구성 요소와 설정을 포함했습니다.

4. 워크플로우 정보

기본 워크플로우는 SD1.5 모델을 사용합니다. 그러나 체크포인트, VAE, AnimateDiff 모델, ControlNet 모델 및 단계 스케줄 모델을 SDXL로 변경하여 SDXL로 전환할 수 있습니다.

5. 중요한 참고 사항/문제

• 깜박임 - 제 워크플로우에서 업샘플링으로 생성된 디코딩 및 미리보기 잠재물을 보면 명백한 색상 이상이 있는 것을 볼 수 있습니다. 정확한 원인은 불분명하지만 일반적으로 최종 결과에 영향을 미치지 않습니다. 이러한 이상 현상은 특히 SDXL에서 두드러집니다. 그러나 때때로 비디오에서 깜박임을 유발할 수 있습니다. 주요 원인은 ControlNets와 관련이 있는 것 같습니다 - 따라서 그 강도를 줄이는 것이 도움이 될 수 있습니다. 프롬프트를 변경하거나 스케줄러를 약간 변경하는 것도 차이를 만들 수 있습니다. 여전히 이 문제를 겪고 있습니다 - 해결책이 있다면 알려주세요!
  • DPM++ 2M은 때때로 깜박임을 개선할 수 있습니다.

6. 다음 단계는?

이것은 비디오 일관성을 제어하는 완전히 새로운 방법처럼 느껴지므로 탐구할 것이 많습니다. 제 제안을 원하신다면:

• 여러 소스 비디오에서 노이즈를 결합/마스킹해 보세요.
• 일관된 캐릭터 변환을 위해 IPAdapter를 추가해 보세요.

저자 소개

Inner-Reflections

• https://x.com/InnerRefle11312
• https://civitai.com/user/Inner_Reflections_AI