Przewodnik po korzystaniu z ComfyUI Reactor do wymiany twarzy w wideo

Hej miłośnicy animacji AI! Wyruszamy w ekscytującą podróż do świata wymiany twarzy za pomocą ComfyUI. Przedstawiamy Wam workflow ComfyUI Reactor, umożliwiający wymianę jednej lub wielu twarzy w wideo!

Omówimy:

1. Roop vs. Reactor
2. Czym jest ComfyUI Reactor?
3. Jak korzystać z Reactor w ComfyUI?
   • Konfiguracja obrazów
   • Model wymiany twarzy
   • Wykrywanie twarzy
   • Przywracanie twarzy
   • Widoczność przywracania twarzy i waga CodeFormer (Fidelity)
   • Wykrywanie płci
   • Wprowadzenie wskaźnika twarzy dla pojedynczych lub wielokrotnych wymian twarzy w wideo
4. Inteligentna interpolacja klatek, jeśli potrzebna
5. Zmiana rozmiaru i ulepszanie, jeśli potrzebne

1. Roop vs. Reactor

Przypuszczam, że niektórzy z Was używali rozszerzenia Roop w Automatic 1111 do tego rodzaju kreatywnych eksperymentów, ale kod Roop został przerwany. Projektanci ruchu i animatorzy przyjmują nowego mistrza wymiany twarzy – ReActor w ComfyUI. To narzędzie to nie tylko ulepszenie Roop; to kompletna rewolucja. ReActor przekształcił wymianę twarzy w płynną i ekscytującą część Twojego kreatywnego zestawu narzędzi.

Dlaczego więc ReActor jest nowym wyborem do wymiany twarzy? Oto podsumowanie:

• Wymiany twarzy w wysokiej rozdzielczości z upscalingiem: Pożegnaj się z rozmytymi obrazami i przywitaj się z krystalicznie czystymi, ostrymi wizualizacjami.
• Przyjazny dla CPU: Nie potrzebujesz wysokowydajnego GPU, co czyni go dostępnym dla większej liczby użytkowników.
• Uniwersalna kompatybilność: Świetnie współpracuje z modelami SDXL i 1.5 – to jak posiadanie uniwersalnego pilota do wymiany twarzy!
• Inteligentne wykrywanie: Automatyczne wykrywanie płci i wieku oznacza, że dokładnie wie, kto jest kim w Twoim wideo.
• Nieskrępowana twórczość: Bez filtra NSFW Twoja kreatywność może naprawdę się rozwinąć.
• Ciągłe ulepszenia: ReActor staje się coraz mądrzejszy i lepszy, jak dobre wino, które z wiekiem nabiera smaku.

Teraz, zamiast tylko o tym mówić, zanurzmy się w to, jak używać Reactor w ComfyUI i jak ustawić parametry w Reactor! Dzięki ReActor, Twoje kreatywne możliwości są nieograniczone.

2. Czym jest ComfyUI Reactor?

ComfyUI Reactor to szybkie i proste rozszerzenie do wymiany twarzy dla ComfyUI. Wykorzystuje wiele modeli do ułatwienia wykrywania twarzy, wymiany twarzy i przywracania twarzy, zachowując przy tym łatwość użycia.

3. Jak korzystać z Reactor w ComfyUI?

Dobrze, zanurzmy się w ekscytujący proces tworzenia Twojego workflow. Dzięki Reactor będziesz mógł dodać niesamowite efekty wymiany twarzy do swoich animacji.

3.1 Konfiguracja obrazów

Najpierw musisz wybrać 'obraz źródłowy' - pomyśl o tym jako o dawcy twarzy. Następnie wybierz 'obraz wejściowy' – to szczęśliwy odbiorca nowej twarzy.

3.2 Model wymiany twarzy

Pobraliśmy już model inswapper_128.onnx, pretrenowane modele inswapper_128.onnx, które są dostarczane przez InsightFace.

3.3 Wykrywanie twarzy

Wykrywanie twarzy to jak posiadanie cyfrowego detektywa, który wykrywa twarze zarówno na obrazach źródłowych, jak i wejściowych. Mamy różnych detektywów - resnet50, mobile0.25, YOLOv5l i YOLOv5n. Naszym ulubionym jest jednak retinaface_resnet50. Jego wydajność jest doskonała.

3.4 Przywracanie twarzy

Tutaj możesz wybrać model do przywracania twarzy. Niektórzy preferują GF PGN, ale spróbuj Code Forer - też jest świetny!

3.5 Widoczność przywracania twarzy i waga CodeFormer (Fidelity)

Te ustawienia są jak strojenie gitary. Domyślne ustawienia to 1.00 dla widoczności i 0.75 dla wagi CodeFormer, ale nie wahaj się eksperymentować i zobacz, jakie dźwięki możesz stworzyć.

3.6 Wykrywanie płci? Może nie

Opcja 'wykrywanie płci' decyduje, czy chcesz, aby model określił płeć na obrazach. ReActor wymieni twarz tylko wtedy, gdy spełni ona określony warunek. Z mojego doświadczenia wynika, że ustawienie tego na 'nie' daje świetne wyniki. To jak powiedzenie modelowi, "Wszystkie oczy na twarz, modelko!"

3.7 Wprowadzenie wskaźnika twarzy

Wskaźnik twarzy pomaga systemowi zidentyfikować każdą twarz na Twoich obrazach. Twarze są oznaczone od lewej do prawej i od góry do dołu na swoich odpowiednich obrazach. Dzięki temu system wie dokładnie, kto jest kim.

3.7.1 Konfiguracja dla pojedynczej wymiany twarzy

Masz tylko jedną twarz do wymiany? Łatwe! Zarówno twarz źródłowa, jak i wejściowa będą miały wskaźnik 0.

3.7.2 Konfiguracja dla wielu twarzy

Jeśli czujesz się ambitnie i chcesz wymienić wiele twarzy, oto jak to zrobić:

Wymiana wielu twarzy w osobnych obrazach

• Kiedy masz do czynienia z postacią po lewej stronie w swojej animacji, ustaw zarówno wskaźnik twarzy źródłowej, jak i wejściowej na 0. To instruuje ReActor, "Użyj obrazu źródłowego do zastąpienia postaci po lewej stronie w obrazie wejściowym."
• Dla postaci po prawej stronie, ustaw wskaźnik źródłowy na 0, a wskaźnik twarzy wejściowej na 1. To instruuje ReActor, "Użyj obrazu źródłowego do zastąpienia postaci po prawej stronie w obrazie wejściowym."
• Pamiętaj, że jeśli każda postać jest na osobnym obrazie, będziesz potrzebować dwóch zestawów węzłów ReActor.

Wymiana wielu twarzy w jednym obrazie

• Jeśli masz obraz z dwiema postaciami, jeden węzeł ReActor załatwi sprawę.
• Tutaj zaczyna się zabawa. Możesz mieszać i dopasowywać twarze. Powiedzmy, że chcesz wymienić drugą twarz w obrazie wejściowym (to wskaźnik = 1) z pierwszą twarzą w obrazie źródłowym (wskaźnik = 0), a pierwszą twarz w obrazie wejściowym (to wskaźnik = 0) z drugą twarzą w obrazie źródłowym (wskaźnik = 1). Wystarczy ustawić wskaźniki w ten sposób: Źródło - 0,1; Wejście - 1,0.

4. Inteligentna interpolacja klatek, jeśli potrzebna

Oto przydatna wskazówka - rozważ użycie interpolatora klatek. Wyobraź sobie to jako maszynę czasu dla swoich klatek wideo. Działa cuda, zmniejszając liczbę klatek, które musisz początkowo przetworzyć, a następnie genialnie je rekonstruując. To szczególnie przydatne, jeśli musiałeś zrezygnować z jakości wideo na rzecz szybszego przetwarzania. Pomyśl o tym kroku jak o czarodziejskiej różdżce, która pomaga odzyskać utraconą klarowność i szczegóły.

5. Zmiana rozmiaru i ulepszanie, jeśli potrzebne

Możesz także zmienić rozmiar swoich obrazów wideo przed przekazaniem ich do interpolatora. Choć trudno osiągnąć jakość oryginalnego pliku, jest to z pewnością lepsze niż nic.

Autor: Redaktorzy RunComfy

Nasz zespół redakcyjny pracuje z AI od ponad 15 lat, zaczynając od NLP/Vision w erze RNN/CNN. Zgromadziliśmy ogromne doświadczenie w AI Chatbot/Art/Animation, takie jak BERT/GAN/Transformer, itp. Skontaktuj się z nami, jeśli potrzebujesz pomocy w zakresie AI art, animacji i wideo.