Face Detailer ComfyUI Workflow/Tutorial - Gesichter in Videos oder Animationen reparieren

Hallo zusammen! 🌟 Heute werden wir uns mit der Kunst beschäftigen, Gesichter in Bildern und Videos durch etwas super Cooles zu ersetzen und zu reparieren: den Face Detailer ComfyUI. Schnappen Sie sich Ihre digitalen Pinsel und lassen Sie uns kreativ werden!

Wir werden Folgendes behandeln:

1. Was ist der Face Detailer in ComfyUI?
   • After Detailer (ADetailer) für Automatic111 vs. Face Detailer für ComfyUI
   • ComfyUI Impact Pack - Face Detailer
2. Face Detailer ComfyUI Workflow - Keine Installation erforderlich, völlig kostenlos
3. Face Detailer Node hinzufügen
4. Eingabe für Face Detailer
   • Geben Sie das Bild ein, das Sie wiederherstellen möchten
   • Wählen Sie das Modell, Clip, VAE und geben Sie sowohl einen positiven als auch einen negativen Prompt ein
   • Der Unterschied zwischen BBox Detector und Segm Detector (Sam-Modell)
5. Face Detailer Einstellungen: Wie man den Face Detailer in ComfyUI verwendet
   • Face Detailer - Führungsgröße, Führungsgröße für, Maximale Größe und BBX Crop Factor
   • Face Detailer - Feather
   • Face Detailer - Rauschmaske
   • Face Detailer - Erzwungenes Inpainting
   • Face Detailer - Drop-Größe
   • Face Detailer - BBox-bezogene Funktionen
   • Face Detailer - Segm/Sam-bezogene Funktionen
6. Weitere Verbesserungen
   • Zwei-Pass-Verfeinerung mit Face Detailer (Pipe)
   • Video mit 4x-UltraSharp hochskalieren
7. Face Detailer ComfyUI Workflow kostenlos ausführen

1. Was ist der Face Detailer in ComfyUI?

1.1 After Detailer (ADetailer) für Automatic111 vs. Face Detailer für ComfyUI

Ich glaube, Sie sind möglicherweise mit der Erweiterung After Detailer (ADetailer) für Automatic111 vertraut oder haben davon gehört, die zum Reparieren von Gesichtern verwendet wird. Eine ähnliche Funktion wie diese Erweiterung, bekannt als Face Detailer, existiert in ComfyUI und ist Teil des Impact Pack Node. Wenn Sie also ADetailer in ComfyUI verwenden möchten, sollten Sie stattdessen den Face Detailer aus dem Impact Pack in ComfyUI wählen.

1.2 ComfyUI Impact Pack - Face Detailer

Das ComfyUI Impact Pack dient als Ihre digitale Toolbox für die Bildverbesserung, ähnlich wie ein Schweizer Taschenmesser für Ihre Bilder. Es ist mit verschiedenen Modulen wie Detector, Detailer, Upscaler, Pipe und mehr ausgestattet. Das Highlight ist der Face Detailer, der mühelos Gesichter in Bildern, Videos und Animationen wiederherstellt.

2. Face Detailer ComfyUI Workflow - Keine Installation erforderlich, völlig kostenlos

Schauen Sie sich das obige Video an, das mit dem Face Detailer ComfyUI Workflow erstellt wurde. Jetzt können Sie den Face Detailer Workflow ohne jegliche Installation erleben. Alles ist für Sie in einem cloudbasierten ComfyUI eingerichtet, der mit dem Impact Pack - Face Detailer Node und allen erforderlichen Modellen für ein nahtloses Erlebnis vorgeladen ist. Sie können diesen Face Detailer Workflow jetzt ausführen oder dieses Tutorial weiter lesen, um zu erfahren, wie Sie ihn verwenden, und es später ausprobieren.

3. Face Detailer Node hinzufügen

In Ordnung, lassen Sie uns mit dem Face Detailer ComfyUI herumbasteln. Der Face Detailer Node mag auf den ersten Blick komplex erscheinen, aber keine Angst, wir werden ihn Stück für Stück durchgehen. Durch das Verständnis jedes Inputs, Outputs und Parameters werden Sie dieses leistungsstarke Tool in kürzester Zeit wie ein Profi beherrschen.

Um den Face Detailer in ComfyUI zu finden, gehen Sie einfach zu Add Node → Impact Pack → Simple → Face Detailer / Face Detailer (pipe).

Lassen Sie uns mit dem "Face Detailer" beginnen und dann den "Face Detailer Pipe" vertiefen.

• FaceDetailer - Erkennt Gesichter einfach und verbessert sie.
• FaceDetailer (pipe) - Erkennt Gesichter einfach und verbessert sie (für Multipass).

In diesem Tutorial befassen wir uns damit, wie man Gesichter in Videos repariert oder ersetzt. Das Video wurde mit AnimateDiff generiert. Wenn Sie mehr über AnimateDiff erfahren möchten, haben wir ein spezielles AnimateDiff-Tutorial!

Wenn Sie lieber mit Bildern arbeiten, tauschen Sie einfach die Nodes, die sich auf das Video beziehen, gegen diejenigen aus, die sich auf das Bild beziehen. Der Face Detailer ist vielseitig genug, um sowohl Videos als auch Bilder zu verarbeiten.

4. Eingabe für Face Detailer

4.1 Geben Sie das Bild ein, das Sie wiederherstellen möchten

Lassen Sie uns mit der Bildeingabe beginnen (oben links im Face Detailer), was bedeutet, dass ein Bild oder Video in den Face Detailer ComfyUI eingespeist wird. Hier beginnt die Transformation! Hier füttern wir den Face Detailer mit dem von AnimateDiff generierten Video.

4.2 Wählen Sie das Modell, Clip, VAE und geben Sie sowohl einen positiven als auch einen negativen Prompt ein

Sie sind wahrscheinlich bereits mit diesen Einstellungen vertraut. Wir werden die Grundlagen überspringen und nur anmerken, dass die Prompts - sowohl positiv als auch negativ - hier eine entscheidende Rolle spielen. Wir werden die gleichen Prompts verwenden, die das Video generiert haben. Sie haben jedoch die Flexibilität, diese Prompts anzupassen, insbesondere für das Gesicht, das Sie ersetzen möchten.

Hier ist etwas Interessantes: Die Verwendung der gleichen Prompts wie bei der Bilderzeugung führt zur Gesichtswiederherstellung. Auf der anderen Seite bedeuten unterschiedliche Prompts, dass Sie sich für einen kompletten Gesichtsaustausch entscheiden. Es liegt ganz an Ihnen!

Tipp: Verwenden Sie "To Basic Pipe" und "From Basic Pipe"

Um den Prozess der Verbindung zahlreicher Nodes zu vereinfachen, nutzen Sie das "Pipe"-System. Beginnen Sie mit "To Basic Pipe", einem Input-Combiner, um verschiedene Eingaben zu sammeln. Verwenden Sie dann "From Basic Pipe", um diese Eingaben zu entpacken. Verbinden Sie einfach diese beiden Pipes, und Sie haben alle notwendigen Eingaben für eine schnelle und effiziente Integration bereit.

4.3 Der Unterschied zwischen BBox Detector und Segm Detector (Sam-Modell)

Die BBox-Modelle sind darauf spezialisiert, Elemente mit Bounding Boxes zu identifizieren, während die Segm/Person-Modelle Masken zur Erkennung verwenden.

In beiden Fällen, ob BBox Detector oder Segm Detector, verwenden wir den "Ultral Litic Detector Provider" Node. Es ist jedoch wichtig zu beachten, dass wir für den BBox Detector speziell die Modelle bbox/face_yolov8m und bbox/hand_yolov8s verwenden. Im Gegensatz dazu wird das Modell segm/person_yolov8m-seg ausschließlich für den Segm Detector verwendet.

Das Folgende bezieht sich ausschließlich auf den BBox Detector. Daher werden Sie feststellen, dass die Vorschau des zugeschnittenen und verbesserten Bildes als Box erscheint.

Anschließend, wenn wir die Fähigkeiten des BBox Detectors und des Segm Detectors kombinieren und das Sam-Modell integrieren, nimmt die Vorschau des zugeschnittenen und verbesserten Bildes ein maskenähnliches Erscheinungsbild an.

5. Face Detailer Einstellungen: Wie man den Face Detailer ComfyUI verwendet

5.1 Face Detailer - Führungsgröße, Führungsgröße für, Maximale Größe und BBX Crop Factor

Führungsgröße: Die Führungsgröße für BBX fokussiert den Face Detailer des Bildes auf den Begrenzungsrahmen-Gesichtsbereich (wie in der Vorschau des zugeschnittenen verbesserten Bildes gezeigt). Standardmäßig auf 256 eingestellt, bedeutet dies, dass das System den Begrenzungsrahmen-Gesichtsbereich automatisch auf mindestens 256 Pixel hochskaliert, wenn er weniger als 256 Pixel beträgt.

Maximale Größe: Die maximale Größe legt die obere Grenze dafür fest, wie groß der zugeschnittene Bereich sein kann (wie in der Vorschau des zugeschnittenen verfeinerten Bildes gezeigt). Diese Obergrenze soll verhindern, dass der Bereich zu groß wird, was zu anderen Problemen führen könnte. Die Standard-Maximalgröße beträgt 768 Pixel.

Einhaltung eines optimalen Bereichs: Durch das Festlegen dieser Parameter halten wir die Bildgröße in einem Bereich von 256 bis 768 Pixeln, der ideal für den SD 1.5 Checkpoint ist. Wenn Sie jedoch zum SDXL Checkpoint-Modell wechseln, das für eine bessere Leistung mit größeren Bildern bekannt ist, kann es vorteilhaft sein, die Führungsgröße auf 512 und die maximale Größe auf 1024 anzupassen. Diese Anpassung lohnt sich zu experimentieren.

Führungsgröße für: Unter der Führungsgröße gibt es eine Option mit der Bezeichnung "Führungsgröße für bbox". Damit können Sie den Fokus auf den Zuschnittbereich verlagern, der größer ist als der Begrenzungsrahmen-Gesichtsbereich.

BBX Crop Factor: Der BBX Crop Factor ist derzeit auf 3 eingestellt. Wird der Crop-Faktor auf 1,0 reduziert, bedeutet dies einen kleineren Zuschnittbereich, der dem Gesichtsbereich entspricht. Bei der Einstellung auf 3 bedeutet dies, dass der Zuschnittbereich 3-mal größer ist als der Gesichtsbereich.

Das Wesentliche bei der Anpassung des Crop-Faktors liegt darin, ein Gleichgewicht zwischen ausreichender Fokussierung für den Face Detailer und genügend Raum für kontextuelle Überblendungen zu finden. Die Einstellung auf 3 bedeutet, dass der Zuschnittbereich etwas mehr vom umgebenden Kontext einschließt, was im Allgemeinen vorteilhaft ist. Sie sollten jedoch auch die Größe des Gesichts im Bild berücksichtigen, wenn Sie die geeignete Einstellung wählen.

5.2 Face Detailer - Feather

Die Feather-Einstellung bestimmt, inwieweit die Bildränder oder eingefügten Bereiche nahtlos mit dem Rest des Bildes verschmelzen. Ich stelle sie normalerweise auf fünf ein, was für die meisten Fälle gut funktioniert. Wenn Sie jedoch feststellen, dass das Inpainting in Ihren Bildern besonders harte Kanten aufweist, sollten Sie diesen Wert möglicherweise erhöhen. Da wir in diesem Beispiel keine harten Kanten beobachten, besteht keine unmittelbare Notwendigkeit, ihn anzupassen.

5.3 Face Detailer - Rauschmaske

Durch die Aktivierung der Rauschmaske wird das Modell effektiv angewiesen, seine Rausch- und Entrauschungsoperationen ausschließlich auf den maskierten Bereich zu konzentrieren. Dadurch wird die Begrenzungsbox in eine Maske umgewandelt, die genau die Bereiche angibt, in denen Rauschen angewendet und anschließend verfeinert wird. Diese Funktionalität ist besonders wichtig, wenn Sie mit Segm-Detektoren und Sam-Modellen arbeiten.

5.4 Face Detailer - Erzwungenes Inpainting

Erzwungenes Inpainting fungiert als spezialisiertes Werkzeug zur Verbesserung bestimmter Bildbereiche mit zusätzlichen Details. Oft konzentrieren wir uns auf die Gesichter in Bildern. Es gibt Zeiten, in denen das automatische System möglicherweise nicht genügend Details zu diesen Gesichtern hinzufügt, weil es fälschlicherweise annimmt, dass sie bereits ausreichend detailliert sind. Dies ist das perfekte Szenario, um Force Inpaint zu verwenden.

Im Wesentlichen ist Erzwungenes Inpainting ideal, um Details in bestimmten Bereichen Ihres Bildes zu ergänzen, insbesondere wenn die automatischen Einstellungen zu kurz greifen.

5.5 Face Detailer - Drop-Größe

Besonders nützlich in Szenarien mit mehrfachem Gesichtsersatz, weist die Einstellung der Drop-Größe das Modell an, Masken zu ignorieren, die kleiner als eine bestimmte Größe sind, z. B. 10 Pixel. Diese Funktion ist in überfüllten Szenen, in denen der Fokus auf größeren Gesichtern liegt, von unschätzbarem Wert.

5.6 Face Detailer - BBox-bezogene Funktionen

BBox-Schwellenwert: Der BBox-Schwellenwert ist entscheidend für die Feinabstimmung des Gesichtserkennungsmodells. Die Wahl einer niedrigeren Zahl bedeutet einen nachsichtigeren Erkennungsprozess. Das Modell bewertet das Bild und weist potenziellen Gesichtern Konfidenzwerte in Prozent zu. Durch Ändern des Schwellenwerts wird der Konfidenzniveau modifiziert, das das Modell benötigt, um ein Gesicht zu erkennen und zu ersetzen.

Betrachten Sie ein Bild mit Masken im Hintergrund und einer Person im Vordergrund. Das Modell könnte die Masken mit Gesichtern verwechseln. In solchen Fällen können Sie den Schwellenwert erhöhen, um sicherzustellen, dass es das klar definierte Gesicht erkennt und sich darauf konzentriert, anstatt auf die Masken. Umgekehrt kann das Absenken des BBox-Schwellenwerts beim Ersetzen mehrerer Gesichter in einer Menschenmenge, wo Gesichter weniger deutlich sind, helfen, diese weniger offensichtlichen Gesichter zu identifizieren.

BBox-Erweiterung: Die Einstellung der BBox-Erweiterung ermöglicht die Ausdehnung über den anfänglichen Zuschnittbereich hinaus, der typischerweise auf das Gesicht beschränkt ist. Wenn Sie die Erweiterung erhöhen, werden mehr Bereiche um das Gesicht herum in den Ersetzungsprozess einbezogen. Diese Änderungen sind jedoch oft nuanciert und erfordern möglicherweise eine Anpassung des Crop-Faktors für auffälligere Ergebnisse.

BBX Crop Factor: Bereits in 4.1 erwähnt

5.7 Face Detailer - Segm/Sam-bezogene Funktionen

Segm/Sam verfeinert die herkömmliche Begrenzungsbox zu einer präziseren Maske und verbessert so die Genauigkeit des Gesichtsaustauschs. Diese Präzision ist besonders nützlich in Szenarien, in denen sich die Begrenzungsbox mit den Haaren überschneidet und Sie die Haare nicht verändern möchten. Durch die Verwendung des Sam-Modells können Sie den Austausch ausschließlich auf das Gesicht konzentrieren.

Sam-Erkennungshinweis: Der Sam-Erkennungshinweis ist eine entscheidende Einstellung. Er gibt dem Modell Hinweise, worauf es sich bei der Identifizierung von Gesichtern konzentrieren soll. Sie haben mehrere Optionen, darunter Mitte, Horizontal (ein oder zwei Gesichter), Vertikal (zwei Gesichter) und Anordnungen für vier Gesichter in rechteckigen oder diamantförmigen Formationen.

Sam-Erweiterung: Ähnlich wie die Einstellung der Begrenzungsbox-Erweiterung passt die Sam-Erweiterung den Bereich außerhalb der Maske oder des Brennpunkts an, den das Modell ersetzen wird. Durch Erhöhen dieser Erweiterung wird der Maskenbereich wieder in Richtung einer Kastenform erweitert.

Sam-Schwellenwert: Mit 93% hoch eingestellt, funktioniert der Sam-Schwellenwert wie sein Pendant für die Begrenzungsbox, erfordert aber aufgrund der Präzision des Modells ein höheres Konfidenzniveau.

Sam-Box-Erweiterung: Diese Einstellung verfeinert die anfängliche Begrenzungsbox und definiert den Gesichtsbereich weiter. Das Erhöhen der Box-Erweiterung ist vorteilhaft, wenn die anfängliche Begrenzungsbox zu restriktiv ist und dem Modell ermöglicht, mehr vom Gesicht zu erfassen.

Sam-Masken-Hinweis-Schwellenwert: In Zusammenarbeit mit dem Sam-Erkennungshinweis bestimmt diese Einstellung die Aggressivität des Modells bei der Reaktion auf den Hinweis. Die Standardeinstellung ist 0,7.

Mit diesen Informationen sollten Sie ein viel tieferes Verständnis dafür haben, wie der Face Detailer funktioniert.

6. Weitere Verbesserungen

6.1 Zwei-Pass-Verfeinerung mit Face Detailer (Pipe)

Die Integration von zwei FaceDetailern für eine Dual-Pass-Konfiguration ist machbar; übertragen Sie einfach den Face Detailer zum FaceDetailerPipe.

In einer Single-Pass-Konfiguration (1pass) liegt der Fokus hauptsächlich auf der Wiederherstellung einer grundlegenden Kontur. Dies erfordert die Verwendung einer moderaten Auflösung mit minimalen Optionen. Die Erweiterung der Erweiterung hier kann jedoch von Vorteil sein, da sie nicht nur Gesichtsmerkmale abdeckt, sondern auch auf die umliegenden Bereiche ausgedehnt wird. Diese Technik ist besonders vorteilhaft, wenn sich die Umformung über den Gesichtsteil hinaus erstreckt. Sie können experimentieren, wie es nötig ist.

6.2 Video mit 4x-UltraSharp hochskalieren

Um noch bessere Ergebnisse zu erzielen, können wir den Ultra-Sharp-Knoten zum Hochskalieren verwenden. Durch Ändern der Bildgröße und Auswahl des geeigneten Upscalers können Sie die Bildqualität erheblich verbessern.

7. Face Detailer ComfyUI Workflow kostenlos ausführen

Hier sind wir! Mit dem Face Detailer ComfyUI Workflow können Sie jetzt Gesichter in jedem Video und jeder Animation reparieren!

Möchten Sie den besprochenen Face Detailer ComfyUI Workflow ausprobieren? Ziehen Sie unbedingt die Verwendung von RunComfy in Betracht, einer Cloud-Umgebung mit einer leistungsstarken GPU. Es ist vollständig vorbereitet und enthält alles, was mit dem ComfyUI Impact Pack - Face Detailer zu tun hat, von Modellen bis hin zu benutzerdefinierten Nodes. Eine manuelle Einrichtung ist nicht erforderlich! Es ist Ihr Spielplatz, um diesen kreativen Funken zu entfesseln.

Autor: RunComfy Editors

Unser Redaktionsteam arbeitet seit mehr als 15 Jahren mit KI zusammen, angefangen mit NLP/Vision im Zeitalter von RNN/CNN. Wir haben enorme Erfahrungen mit KI-Chatbots/Kunst/Animation gesammelt, wie z. B. BERT/GAN/Transformer usw. Sprechen Sie mit uns, wenn Sie Hilfe bei KI-Kunst, Animation und Video benötigen.