Guida all'utilizzo di ComfyUI Reactor per lo scambio di volti nei video

Ciao appassionati di animazioni AI! Stiamo per intraprendere un emozionante viaggio nel mondo dello scambio di volti con ComfyUI. Qui vi presentiamo il workflow ComfyUI Reactor, che vi permette di scambiare un singolo volto o più volti in un video!

Trattaremo:

1. Roop vs. Reactor
2. Cos'è ComfyUI Reactor?
3. Come usare Reactor in ComfyUI?
   • Impostazione delle immagini
   • Modello di scambio volti
   • Rilevamento volti
   • Ripristino volti
   • Visibilità ripristino volti e peso CodeFormer (Fedeltà)
   • Rilevamento genere
   • Introduzione dell'indice del volto per scambi singoli o multipli nei video
4. Interpolazione intelligente dei fotogrammi se necessario
5. Ridimensionamento e rifinitura se necessario

1. Roop vs. Reactor

Immagino che alcuni di voi abbiano usato l'estensione Roop in Automatic 1111 per questo tipo di esperimenti creativi, ma il codice di Roop è stato interrotto. I motion designer e gli animatori stanno abbracciando il nuovo campione dello scambio di volti: ReActor in ComfyUI. Questo strumento non è solo un aggiornamento di Roop; è una vera e propria rivoluzione. ReActor ha trasformato lo scambio di volti in una parte fluida ed entusiasmante del vostro kit di strumenti creativi.

Quindi, perché ReActor è il nuovo punto di riferimento per lo scambio di volti? Ecco il riassunto:

• Scambio di volti ad alta risoluzione con upscaling: dite addio alle immagini sfocate e date il benvenuto a immagini nitide e cristalline.
• CPU-friendly: non è necessaria una GPU di fascia alta, rendendolo accessibile a più utenti.
• Compatibilità universale: funziona alla perfezione con i modelli SDXL e 1.5 - è come avere un telecomando universale per lo scambio di volti!
• Rilevamento intelligente: il rilevamento automatico del genere e dell'età significa che sa esattamente chi è chi nel vostro video.
• Creazione senza censura: senza filtro NSFW, la vostra creatività può davvero sbizzarrirsi.
• Miglioramenti continui: ReActor diventa sempre più intelligente e migliore, proprio come un buon vino che invecchia con grazia.

Ora, non limitiamoci a parlarne; immergiamoci in come usare Reactor in ComfyUI e come impostare i parametri in Reactor! Con ReActor, le vostre possibilità creative sono infinite.

2. Cos'è ComfyUI Reactor?

ComfyUI Reactor è un nodo di estensione veloce e semplice per lo scambio di volti in ComfyUI. Sfrutta più modelli per facilitare il rilevamento dei volti, lo scambio dei volti e il ripristino dei volti, il tutto mantenendo la facilità d'uso.

3. Come usare Reactor in ComfyUI?

Bene, immergiamoci nell'entusiasmante processo di creazione del vostro workflow. Con Reactor, sarete in grado di aggiungere alcuni incredibili effetti di scambio di volti alle vostre animazioni.

3.1 Impostazione delle immagini

Prima di tutto, dovete scegliere la vostra "immagine sorgente" - pensate a questa come al donatore di volti. Poi, scegliete la vostra "immagine di input" - questa è la fortunata destinataria del nuovo volto.

3.2 Modello di scambio volti

Abbiamo già scaricato il modello inswapper_128.onnx, modelli pre-addestrati inswapper_128.onnx, forniti da InsightFace.

3.3 Rilevamento volti

Il rilevamento dei volti è come avere un detective digitale che individua i volti sia nell'immagine sorgente che in quella di input. Abbiamo a disposizione una varietà di detective: resnet50, mobile0.25, YOLOv5l e YOLOv5n. Ma il nostro preferito è retinaface_resnet50. Le sue prestazioni sono buone.

3.4 Ripristino volti

Qui potete scegliere un modello per il ripristino dei volti. Alcuni preferiscono GF PGN, ma provate anche Code Forer - è altrettanto valido!

3.5 Visibilità ripristino volti e peso CodeFormer (Fedeltà)

Queste impostazioni sono come accordare una chitarra. Le impostazioni predefinite sono 1.00 per la visibilità e 0.75 per il peso di CodeFormer, ma non esitate a sperimentare e vedere quali melodie potete creare.

3.6 Rilevare i generi? Forse no

L'opzione "rilevare i generi" decide se volete che il modello individui il genere nelle immagini. ReActor effettuerà lo scambio di un volto solo se soddisfa la condizione data. Secondo la mia esperienza, impostare "no" dà ottimi risultati. È come dire al modello: "Occhi puntati sul volto, modello babe!"

3.7 Introduzione dell'indice del volto

L'indice del volto aiuta il sistema a identificare ogni volto nelle vostre immagini. I volti sono etichettati da sinistra a destra e dall'alto verso il basso nelle rispettive immagini. In questo modo, il sistema sa esattamente chi è chi.

3.7.1 Impostazione per uno scambio di un singolo volto

Avete solo un volto da scambiare? Facile! Sia il volto sorgente che quello di input avranno un indice pari a 0.

3.7.2 Impostazione per più volti

Ora, se vi sentite ambiziosi e volete scambiare più volti, ecco come si fa:

Scambio di più volti in immagini separate

• Quando si ha a che fare con il personaggio di sinistra nell'animazione, impostate sia l'indice del volto sorgente che quello di input a 0. Questo istruisce Reactor a "Utilizzare l'immagine sorgente per sostituire il personaggio di sinistra nell'immagine di input".
• Per il personaggio posizionato a destra, regolate l'indice sorgente a 0 e l'indice del volto di input a 1. Questo indica a Reactor di "Impiegare l'immagine sorgente per sostituire il personaggio di destra nell'immagine di input".
• Ricordate, se ogni personaggio si trova in un'immagine separata, avrete bisogno di due set di nodi Reactor.

Scambio di più volti in una sola immagine

• Se avete un'immagine con due personaggi, un solo nodo Reactor farà al caso vostro.
• Qui si fa interessante. Potete mescolare e abbinare i volti. Supponiamo che vogliate scambiare il secondo volto nell'immagine di input (cioè indice = 1) con il primo volto nell'immagine sorgente (indice = 0), e che vogliate scambiare il primo volto nell'immagine di input (cioè indice = 0) con il secondo volto nell'immagine sorgente (indice = 1). Tutto quello che dovete fare è impostare i vostri indici in questo modo: Sorgente - 0,1; Input - 1,0.

4. Interpolazione intelligente dei fotogrammi se necessario

Ecco un suggerimento utile: considerate l'uso di un interpolatore di fotogrammi. Immaginate che sia una macchina del tempo per i fotogrammi del vostro video. Funziona meravigliosamente riducendo il numero di fotogrammi che dovete elaborare inizialmente e poi li ricostruisce brillantemente in seguito. Questo è particolarmente utile se avete dovuto scendere a compromessi sulla qualità del vostro video per ottenere un'elaborazione più rapida. Pensate a questo passaggio come a una bacchetta magica che vi aiuta a recuperare parte di quella chiarezza e dettagli perduti.

5. Ridimensionamento e rifinitura se necessario

Potete anche ridimensionare le immagini del vostro video prima di passarle all'interpolatore. Anche se è difficile raggiungere la qualità del file originale, è certamente meglio di niente.

Autore: Redattori di RunComfy

Il nostro team di redattori lavora con l'AI da più di 15 anni, a partire da NLP/Vision nell'era delle RNN/CNN. Abbiamo accumulato una enorme quantità di esperienze su AI Chatbot/Art/Animation, come BERT/GAN/Transformer, ecc. Parlateci se avete bisogno di aiuto per l'arte, l'animazione e il video con l'AI.