Flusso di lavoro/Tutorial di Face Detailer ComfyUI - Correggere i volti in qualsiasi video o animazione

Ciao a tutti! 🌟 Oggi esploreremo l'arte di sostituire e correggere i volti in immagini e video con qualcosa di super interessante: il Face Detailer di ComfyUI. Prendete i vostri pennelli digitali e mettiamoci all'opera!

Trattaremo:

1. Cos'è il Face Detailer in ComfyUI?
   • After Detailer (ADetailer) per Automatic111 vs Face Detailer per ComfyUI
   • ComfyUI Impact Pack - Face Detailer
2. Flusso di lavoro Face Detailer ComfyUI - Nessuna installazione necessaria, totalmente gratuito
3. Aggiungere il nodo Face Detailer
4. Input per Face Detailer
   • Inserire l'immagine da ripristinare
   • Scegliere il Modello, Clip, VAE e inserire sia un Prompt Positivo che Negativo
   • La differenza tra BBox Detector e Segm Detector (modello Sam)
5. Impostazioni di Face Detailer: Come utilizzare Face Detailer in ComfyUI
   • Face Detailer - Guide Size, Guide Size For, Max Size e BBX Crop Factor
   • Face Detailer - Feather
   • Face Detailer - Noise Mask
   • Face Detailer - Force Inpainting
   • Face Detailer - Drop Size
   • Face Detailer - Funzionalità relative al BBox
   • Face Detailer - Funzionalità relative a Segm/Sam
6. Altri miglioramenti
   • Two Pass Refine con Face Detailer(Pipe)
   • Upscale del video usando 4x-UltraSharp
7. Esegui il flusso di lavoro Face Detailer ComfyUI gratuitamente

1. Cos'è il Face Detailer in ComfyUI?

1.1 After Detailer (ADetailer) per Automatic111 vs Face Detailer per ComfyUI

Credo che tu possa essere a conoscenza o aver sentito parlare dell'estensione After Detailer (ADetailer) per Automatic111, utilizzata per correggere i volti. Una funzione simile a questa estensione, nota come Face Detailer, esiste in ComfyUI e fa parte del nodo Impact Pack. Pertanto, se desideri utilizzare ADetailer in ComfyUI, dovresti optare per il Face Detailer di Impact Pack in ComfyUI.

1.2 ComfyUI Impact Pack - Face Detailer

Il ComfyUI Impact Pack funge da cassetta degli attrezzi digitale per il miglioramento delle immagini, simile a un coltellino svizzero per le tue immagini. È dotato di vari moduli come Detector, Detailer, Upscaler, Pipe e altro ancora. Il punto di forza è il Face Detailer, che ripristina senza sforzo i volti in immagini, video e animazioni.

2. Flusso di lavoro Face Detailer ComfyUI - Nessuna installazione necessaria, totalmente gratuito

Dai un'occhiata al video qui sopra, realizzato utilizzando il flusso di lavoro Face Detailer ComfyUI. Ora puoi provare il Flusso di lavoro Face Detailer senza alcuna installazione. Tutto è configurato per te in un ComfyUI basato su cloud, precaricato con il nodo Impact Pack - Face Detailer e ogni modello necessario per un'esperienza senza interruzioni. Puoi eseguire questo flusso di lavoro Face Detailer ora o continuare a leggere questo tutorial su come utilizzarlo e provarlo in seguito.

3. Aggiungere il nodo Face Detailer

Bene, mettiamoci al lavoro con Face Detailer di ComfyUI. Il nodo Face Detailer potrebbe sembrare complesso a prima vista, ma non temere, lo scomporremo pezzo per pezzo. Capendo ogni input, output e parametro, sarai in grado di padroneggiare questo potente strumento come un professionista in pochissimo tempo.

Per individuare Face Detailer in ComfyUI, vai su Add Node → Impact Pack → Simple → Face Detailer / Face Detailer (pipe).

Iniziamo con "Face Detailer" e poi approfondiamo "Face Detailer Pipe".

• FaceDetailer - Rileva facilmente i volti e li migliora.
• FaceDetailer (pipe) - Rileva facilmente i volti e li migliora (per multipass).

In questo tutorial, ci immergiamo in come correggere o sostituire i volti nei video. Il video è generato utilizzando AnimateDiff. Se sei desideroso di saperne di più su AnimateDiff, abbiamo un tutorial dedicato ad AnimateDiff!

Se ti senti più a tuo agio nel lavorare con le immagini, basta sostituire i nodi relativi al video con quelli relativi all'immagine. Face Detailer è abbastanza versatile da gestire sia video che immagini.

4. Input per Face Detailer

4.1 Inserire l'immagine da ripristinare

Iniziamo con l'input dell'immagine (pulsante in alto a sinistra in Face Detailer), che significa fornire un'immagine o un video a Face Detailer di ComfyUI. È qui che inizia la trasformazione! Qui forniamo a Face Detailer il video generato da AnimateDiff.

4.2 Scegliere il Modello, Clip, VAE e inserire sia un Prompt Positivo che Negativo

Probabilmente hai già familiarità con queste impostazioni. Salteremo le basi e noteremo solo che i prompt - sia positivi che negativi - giocano un ruolo cruciale qui. Useremo gli stessi prompt che hanno generato il video. Tuttavia, hai la flessibilità di personalizzare questi prompt, specialmente per il volto che intendi sostituire.

Ecco una cosa interessante: utilizzare gli stessi prompt della generazione dell'immagine porta al ripristino del volto. D'altra parte, prompt diversi significano che stai optando per una completa sostituzione del volto. Dipende tutto da te!

Suggerimento: Usa "To Basic Pipe" e "From Basic Pipe"

Per semplificare il processo di connessione di numerosi nodi, utilizza il sistema "Pipe". Inizia con "To Basic Pipe", un combinatore di input, per raccogliere vari input. Quindi, usa "From Basic Pipe" per spacchettare questi input. Basta collegare questi due tubi e avrai tutti gli input necessari pronti per un'integrazione rapida ed efficiente.

4.3 La differenza tra BBox Detector e Segm Detector (modello Sam)

I modelli BBox si specializzano nell'identificazione degli elementi utilizzando i riquadri di delimitazione, mentre i modelli Segm/person utilizzano le maschere per il rilevamento.

In entrambi i casi, sia che si tratti del BBox Detector o del Segm Detector, impieghiamo il nodo "Ultral Litic Detector Provider". Tuttavia, è importante notare che per il BBox Detector, utilizziamo specificamente i modelli bbox/face_yolov8m e bbox/hand_yolov8s. Al contrario, il modello segm/person_yolov8m-seg è utilizzato esclusivamente per il Segm Detector.

Ciò che segue riguarda esclusivamente il BBox Detector. Pertanto, osserverai che l'anteprima dell'immagine ritagliata e migliorata appare come una casella.

Successivamente, quando combiniamo le capacità sia del BBox Detector che del Segm Detector e integriamo il modello Sam, l'anteprima dell'immagine ritagliata e migliorata assume un aspetto simile a una maschera.

5. Impostazioni di Face Detailer: Come utilizzare Face Detailer ComfyUI

5.1 Face Detailer - Guide Size, Guide Size For, Max Size e BBX Crop Factor

Guide Size: La dimensione della guida per BBX concentra il face detailer dell'immagine sull'area del volto delimitata dal riquadro (come mostrato nell'anteprima dell'immagine ritagliata migliorata). Impostata per impostazione predefinita a 256, ciò significa che se l'area del volto delimitata dal riquadro è inferiore a 256 pixel, il sistema la ingrandisce automaticamente a un minimo di 256 pixel.

Max Size: La dimensione massima stabilisce il limite superiore per quanto grande può essere l'area ritagliata (come mostrato nell'anteprima dell'immagine rifinita ritagliata). Questo limite serve a impedire che l'area diventi troppo grande, il che potrebbe portare ad altri problemi. La dimensione massima predefinita è di 768 pixel.

Mantenere un intervallo ottimale: Impostando questi parametri, manteniamo la dimensione dell'immagine all'interno di un intervallo di 256-768 pixel, ideale per il checkpoint SD 1.5. Tuttavia, se passi al modello di checkpoint SDXL, noto per prestazioni migliori con immagini più grandi, la regolazione della dimensione della guida a 512 e della dimensione massima a 1024 potrebbe essere vantaggiosa. Vale la pena sperimentare con questa regolazione.

Guide Size for: Sotto la dimensione della guida, c'è un'opzione etichettata "guide size for bbox". Questo consente di spostare l'attenzione sulla regione di ritaglio, che è un'area più ampia dell'area del volto delimitata dal riquadro.

BBX Crop Factor: Il fattore di ritaglio BBX è attualmente impostato su 3. Ridurre il fattore di ritaglio a 1.0 significa un'area di ritaglio più piccola, pari all'area del volto. Quando è impostato su 3, indica che l'area di ritaglio è 3 volte più grande dell'area del volto.

L'essenza della regolazione del fattore di ritaglio risiede nel trovare un equilibrio tra fornire un focus adeguato per il face detailer e consentire uno spazio sufficiente per la fusione contestuale. Impostandolo su 3, significa che l'area di ritaglio include un po' più di contesto circostante, il che è generalmente vantaggioso. Tuttavia, dovresti anche tenere conto delle dimensioni del volto nell'immagine quando decidi l'impostazione appropriata.

5.2 Face Detailer - Feather

L'impostazione Feather determina fino a che punto i bordi dell'immagine o le aree di inpainting si fondono perfettamente con il resto dell'immagine. Di solito lo imposto a cinque, che funziona bene per la maggior parte dei casi. Tuttavia, se noti che l'inpainting nelle tue immagini ha bordi particolarmente netti, potresti considerare di aumentare questo valore. Poiché non osserviamo bordi netti in questo esempio, non c'è un bisogno immediato di regolarlo.

5.3 Face Detailer - Noise Mask

Attivare Noise Mask dirige efficacemente il modello a concentrare le operazioni di rumore e riduzione del rumore esclusivamente sull'area mascherata. Ciò trasforma il riquadro di delimitazione in una maschera, che indica con precisione le aree in cui viene applicato il rumore e successivamente perfezionato. Questa funzionalità è particolarmente importante quando si lavora con i rilevatori Segm e i modelli Sam.

5.4 Face Detailer - Force Inpainting

Force Inpaint funziona come uno strumento specializzato per migliorare aree specifiche di un'immagine con dettagli aggiuntivi. Spesso ci concentriamo sui volti nelle immagini. A volte il sistema automatico potrebbe non aggiungere dettagli sufficienti a questi volti, presumendo erroneamente che siano già adeguatamente dettagliati. Questo è lo scenario perfetto per utilizzare Force Inpaint.

In sostanza, Force Inpaint è ideale per aumentare i dettagli in determinate aree della tua immagine, in particolare quando le impostazioni automatiche non sono sufficienti.

5.5 Face Detailer - Drop Size

Particolarmente utile in scenari di sostituzione multi-volto, l'impostazione drop size istruisce il modello a ignorare le maschere più piccole di una dimensione specificata, come 10 pixel. Questa funzione è inestimabile in scene affollate in cui l'attenzione è sui volti più grandi.

5.6 Face Detailer - Funzionalità relative al BBox

BBox Threshold: La soglia bbox è fondamentale per ottimizzare il modello di rilevamento del volto. Optare per un numero inferiore significa un processo di rilevamento più indulgente. Il modello valuta l'immagine, assegnando percentuali di confidenza ai volti potenziali. Modificare la soglia modifica il livello di confidenza richiesto affinché il modello riconosca e sostituisca un volto.

Considera un'immagine con maschere sullo sfondo e una persona in primo piano. Il modello potrebbe confondere le maschere con i volti. In tali casi, potresti aumentare la soglia per assicurarti che riconosca e si concentri sul volto chiaramente definito, piuttosto che sulle maschere. Al contrario, per sostituire più volti in una folla, dove i volti sono meno distinti, abbassare la soglia bbox può aiutare a identificare questi volti meno evidenti.

BBox Dilation: L'impostazione bbox dilation consente l'espansione oltre l'area di ritaglio iniziale, solitamente limitata al volto. Quando aumenti la dilatazione, più aree circostanti il volto vengono incluse nel processo di sostituzione. Tuttavia, questi cambiamenti sono spesso sfumati e potrebbero richiedere la regolazione del fattore di ritaglio per risultati più evidenti.

BBX Crop Factor: Già menzionato in 4.1

5.7 Face Detailer - Funzionalità relative a Segm/Sam

Segm/Sam affina il tradizionale riquadro di delimitazione in una maschera più precisa, migliorando l'accuratezza della sostituzione del volto. Questa precisione è particolarmente utile in scenari in cui il riquadro di delimitazione si sovrappone ai capelli e preferisci non alterare i capelli. Utilizzando il modello Sam, puoi concentrare la sostituzione esclusivamente sul volto.

Sam Detection Hint: Il suggerimento di rilevamento Sam è un'impostazione critica. Guida il modello su dove concentrarsi quando identifica i volti. Hai diverse opzioni, tra cui Center, Horizontal (uno o due volti), Vertical (due volti) e disposizioni per quattro volti in formazioni rettangolari o a diamante.

Sam Dilation: Simile alla dilatazione del riquadro di delimitazione, l'impostazione Sam dilation regola l'area al di fuori della maschera o del punto focale che il modello sostituirà. Aumentare questa dilatazione riespande l'area della maschera verso una forma a casella.

Sam Threshold: Impostato al 93% elevato, la soglia Sam funziona come la sua controparte del riquadro di delimitazione ma richiede un livello di confidenza più elevato a causa della precisione del modello.

Sam Box Expansion: Questa impostazione affina ulteriormente il riquadro di delimitazione iniziale, definendo ulteriormente l'area facciale. Aumentare l'espansione della casella è vantaggioso quando il riquadro di delimitazione iniziale è troppo restrittivo, consentendo al modello di catturare più del volto.

Sam Mask Hint Threshold: Lavorando in tandem con il suggerimento di rilevamento Sam, questa impostazione determina l'aggressività del modello nel rispondere al suggerimento. L'impostazione predefinita è 0.7.

Con queste informazioni, dovresti avere una comprensione molto più profonda di come funziona il face detailer.

6. Altri miglioramenti

6.1 Two Pass Refine con Face Detailer(Pipe)

L'integrazione di due FaceDetailer per una configurazione a doppio passaggio è fattibile; basta trasferire il Face Detailer nel FaceDetailerPipe.

In una configurazione a passaggio singolo (1pass), l'attenzione si concentra principalmente sul ripristino di un contorno di base. Ciò richiede l'uso di una risoluzione moderata con opzioni minime. Tuttavia, espandere la dilatazione qui può essere vantaggioso, poiché copre non solo i lineamenti del volto ma si estende anche alle aree circostanti. Questa tecnica è particolarmente vantaggiosa quando la rimodellazione si estende oltre la parte facciale. Puoi sperimentare secondo necessità.

6.2 Upscale del video con 4x-UltraSharp

Per ottenere risultati ancora migliori, possiamo utilizzare il nodo ultra sharp per l'upscaling. Ridimensionando l'immagine e selezionando l'upscaler appropriato, puoi migliorare significativamente la qualità dell'immagine.

7. Esegui il flusso di lavoro Face Detailer ComfyUI gratuitamente

Ecco qui! Con il flusso di lavoro Face Detailer ComfyUI, ora puoi correggere i volti in qualsiasi video e animazione!

Vuoi provare il flusso di lavoro Face Detailer ComfyUI di cui abbiamo discusso? Considera seriamente l'utilizzo di RunComfy, un ambiente cloud dotato di una potente GPU. È completamente preparato e include tutto ciò che riguarda il ComfyUI Impact Pack - Face Detailer, dai modelli ai nodi personalizzati. Non è richiesta alcuna configurazione manuale! È il tuo parco giochi per scatenare quella scintilla creativa.

Autore: Redattori di RunComfy

Il nostro team di redattori lavora con l'IA da oltre 15 anni, a partire da NLP/Vision nell'era di RNN/CNN. Abbiamo accumulato un'enorme quantità di esperienze su AI Chatbot/Art/Animation, come BERT/GAN/Transformer, ecc. Parla con noi se hai bisogno di aiuto su arte, animazione e video AI.