Updated: 5/16/2024
Hallo, Mitstreiter der KI-Kunst! 👋 Willkommen bei unserem benutzerfreundlichen Leitfaden zu ComfyUI, einem unglaublich leistungsstarken und flexiblen Werkzeug zur Erstellung atemberaubender KI-generierter Kunst. 🎨 In diesem Leitfaden führen wir Sie durch die Grundlagen von ComfyUI, erforschen seine Funktionen und helfen Ihnen, sein Potenzial zu entfesseln, um Ihre KI-Kunst auf die nächste Stufe zu heben. 🚀
Wir werden behandeln:
ComfyUI ist wie ein Zauberstab 🪄, mit dem Sie mühelos atemberaubende, KI-generierte Kunstwerke erstellen können. Im Kern ist ComfyUI eine knotenbasierte grafische Benutzeroberfläche (GUI), die auf Stable Diffusion aufbaut, einem hochmodernen Deep-Learning-Modell, das Bilder aus Textbeschreibungen erzeugt. 🌟 Aber was ComfyUI wirklich besonders macht, ist die Art und Weise, wie es Künstler wie Sie dazu befähigt, Ihre Kreativität zu entfesseln und Ihre wildesten Ideen zum Leben zu erwecken.
Stellen Sie sich eine digitale Leinwand vor, auf der Sie Ihre eigenen einzigartigen Bildgenerierungs-Workflows erstellen können, indem Sie verschiedene Knoten miteinander verbinden, von denen jeder eine bestimmte Funktion oder Operation repräsentiert. 🧩 Es ist wie das Erstellen eines visuellen Rezepts für Ihre KI-generierten Meisterwerke!
Möchten Sie ein Bild von Grund auf mit einem Textprompt generieren? Es gibt einen Knoten dafür! Möchten Sie einen bestimmten Sampler anwenden oder den Geräuschpegel optimieren? Fügen Sie einfach die entsprechenden Knoten hinzu und lassen Sie den Zauber geschehen. ✨
Aber das Beste daran ist: ComfyUI zerlegt den Workflow in umstellbare Elemente und gibt Ihnen so die Freiheit, Ihre eigenen benutzerdefinierten Workflows zu erstellen, die auf Ihre künstlerische Vision zugeschnitten sind. 🖼️ Es ist wie ein persönliches Toolkit, das sich Ihrem kreativen Prozess anpasst.
AUTOMATIC1111 ist die Standard-GUI für Stable Diffusion. Sollten Sie also stattdessen ComfyUI verwenden? Vergleichen wir:
✅ Vorteile der Verwendung von ComfyUI:
❌ Nachteile der Verwendung von ComfyUI:
Wir glauben, dass die beste Art, ComfyUI zu lernen, darin besteht, sich in Beispiele zu vertiefen und es aus erster Hand zu erleben. 🙌 Deshalb haben wir dieses einzigartige Tutorial erstellt, das sich von anderen abhebt. In diesem Tutorial finden Sie eine detaillierte, schrittweise Anleitung, der Sie folgen können.
Aber das Beste daran ist: 🌟 Wir haben ComfyUI direkt in diese Webseite integriert! Sie können mit ComfyUI-Beispielen in Echtzeit interagieren, während Sie den Leitfaden durcharbeiten.🌟 Lassen Sie uns eintauchen!
Beginnen wir mit dem einfachsten Fall: der Erzeugung eines Bildes aus Text. Klicken Sie auf Queue Prompt, um den Workflow auszuführen. Nach einer kurzen Wartezeit sollten Sie Ihr erstes generiertes Bild sehen! Um Ihre Warteschlange zu überprüfen, klicken Sie einfach auf View Queue.
Hier ist ein standardmäßiger Text-zu-Bild-Workflow zum Ausprobieren:
Der ComfyUI-Workflow besteht aus zwei grundlegenden Bausteinen: Knoten und Kanten.
Wählen Sie zunächst im Knoten Load Checkpoint ein Stable Diffusion Checkpoint-Modell aus. Klicken Sie auf den Modellnamen, um verfügbare Modelle anzuzeigen. Wenn Sie auf den Modellnamen klicken und nichts passiert, müssen Sie möglicherweise ein benutzerdefiniertes Modell hochladen.
Sie sehen zwei Knoten mit der Bezeichnung CLIP Text Encode (Prompt). Der obere Prompt ist mit dem positive-Eingang des KSampler-Knotens verbunden, während der untere Prompt mit dem negative-Eingang verbunden ist. Geben Sie also Ihren positiven Prompt oben und Ihren negativen Prompt unten ein.
Der Knoten CLIP Text Encode konvertiert den Prompt in Tokens und kodiert sie mit dem Textencoder in Embeddings.
💡 Tipp: Verwenden Sie die Syntax (keyword:weight), um das Gewicht eines Schlüsselworts zu steuern, z.B. (keyword:1.2), um seinen Effekt zu erhöhen, oder (keyword:0.8), um ihn zu verringern.
Klicken Sie auf Queue Prompt, um den Workflow auszuführen. Nach einer kurzen Wartezeit wird Ihr erstes Bild generiert!
Die Stärke von ComfyUI liegt in seiner Konfigurierbarkeit. Das Verständnis der Funktionsweise jedes Knotens ermöglicht es Ihnen, sie an Ihre Bedürfnisse anzupassen. Bevor wir jedoch auf die Details eingehen, werfen wir einen Blick auf den Stable Diffusion-Prozess, um besser zu verstehen, wie ComfyUI funktioniert.
Der Stable Diffusion-Prozess lässt sich in drei Hauptschritte zusammenfassen:
Jetzt, da wir ein allgemeines Verständnis des Stable Diffusion-Prozesses haben, tauchen wir in die Schlüsselkomponenten und -knoten in ComfyUI ein, die diesen Prozess ermöglichen.
Der Load Checkpoint-Knoten in ComfyUI ist entscheidend für die Auswahl eines Stable Diffusion-Modells. Ein Stable Diffusion-Modell besteht aus drei Hauptkomponenten: MODEL, CLIP und VAE. Lassen Sie uns jede Komponente und ihre Beziehung zu den entsprechenden Knoten in ComfyUI untersuchen.
Es ist wichtig zu beachten, dass der VAE eine separate Komponente vom CLIP-Sprachmodell ist. Während CLIP sich auf die Verarbeitung von Textprompts konzentriert, beschäftigt sich der VAE mit der Umwandlung zwischen Pixel- und latentem Raum.
Der CLIP Text Encode-Knoten in ComfyUI ist dafür verantwortlich, die vom Benutzer bereitgestellten Prompts zu übernehmen und sie in das CLIP-Sprachmodell einzuspeisen. CLIP ist ein leistungsstarkes Sprachmodell, das die semantische Bedeutung von Wörtern versteht und sie mit visuellen Konzepten assoziieren kann. Wenn ein Prompt in den CLIP Text Encode-Knoten eingegeben wird, durchläuft er einen Transformationsprozess, bei dem jedes Wort in Embeddings umgewandelt wird. Diese Embeddings sind hochdimensionale Vektoren, die die semantischen Informationen der Wörter erfassen. Durch die Umwandlung der Prompts in Embeddings ermöglicht CLIP dem MODEL, Bilder zu generieren, die die Bedeutung und Absicht der gegebenen Prompts genau widerspiegeln.
Beim Text-zu-Bild-Prozess beginnt die Generierung mit einem zufälligen Bild im latenten Raum. Dieses zufällige Bild dient als Ausgangszustand für das MODEL. Die Größe des latenten Bildes ist proportional zur tatsächlichen Bildgröße im Pixelraum. In ComfyUI können Sie die Höhe und Breite des latenten Bildes anpassen, um die Größe des generierten Bildes zu steuern. Zusätzlich können Sie die Batch-Größe festlegen, um die Anzahl der Bilder zu bestimmen, die bei jedem Durchlauf erzeugt werden.
Die optimalen Größen für latente Bilder hängen vom jeweiligen verwendeten Stable Diffusion-Modell ab. Für SD v1.5-Modelle sind die empfohlenen Größen 512x512 oder 768x768, während für SDXL-Modelle die optimale Größe 1024x1024 beträgt. ComfyUI bietet eine Reihe gängiger Seitenverhältnisse zur Auswahl, wie z.B. 1:1 (quadratisch), 3:2 (Querformat), 2:3 (Hochformat), 4:3 (Querformat), 3:4 (Hochformat), 16:9 (Breitbild) und 9:16 (vertikal). Es ist wichtig zu beachten, dass die Breite und Höhe des latenten Bildes durch 8 teilbar sein müssen, um die Kompatibilität mit der Architektur des Modells zu gewährleisten.
Der VAE (Variational AutoEncoder) ist eine entscheidende Komponente im Stable Diffusion-Modell, die die Umwandlung von Bildern zwischen dem Pixelraum und dem latenten Raum übernimmt. Er besteht aus zwei Hauptteilen: einem Bildencoder und einem Bilddecoder.
Der Bildencoder nimmt ein Bild im Pixelraum und komprimiert es in eine niedrigdimensionale latente Repräsentation. Dieser Kompressionsprozess reduziert die Datenmenge erheblich und ermöglicht eine effizientere Verarbeitung und Speicherung. So kann beispielsweise ein Bild der Größe 512x512 Pixel auf eine latente Repräsentation der Größe 64x64 komprimiert werden.
Der Bilddecoder, auch VAE Decoder genannt, ist hingegen für die Rekonstruktion des Bildes aus der latenten Repräsentation zurück in den Pixelraum verantwortlich. Er nimmt die komprimierte latente Repräsentation und expandiert sie, um das endgültige Bild zu erzeugen.
Die Verwendung eines VAE bietet mehrere Vorteile:
Es gibt jedoch auch einige Nachteile zu beachten:
Trotz dieser Einschränkungen spielt der VAE im Stable Diffusion-Modell eine entscheidende Rolle, indem er eine effiziente Umwandlung zwischen dem Pixelraum und dem latenten Raum ermöglicht und so eine schnellere Generierung und eine präzisere Kontrolle über die generierten Bilder ermöglicht.
Der KSampler-Knoten in ComfyUI ist das Herzstück des Bilderzeugungsprozesses in Stable Diffusion. Er ist für die Entrauschung des Zufallsbildes im latenten Raum zuständig, um es an den vom Benutzer vorgegebenen Prompt anzupassen. Der KSampler verwendet eine Technik namens "Reverse Diffusion", bei der die latente Repräsentation iterativ verfeinert wird, indem Rauschen entfernt und sinnvolle Details basierend auf der Anleitung durch die CLIP-Embeddings hinzugefügt werden.
Der KSampler-Knoten bietet mehrere Parameter, mit denen Benutzer den Bilderzeugungsprozess optimieren können:
Seed: Der Seed-Wert steuert das anfängliche Rauschen und die Komposition des endgültigen Bildes. Durch die Festlegung eines bestimmten Seeds können Benutzer reproduzierbare Ergebnisse erzielen und die Konsistenz über mehrere Generationen hinweg wahren.
Control_after_generation: Dieser Parameter bestimmt, wie sich der Seed-Wert nach jeder Generation ändert. Er kann auf Randomize (bei jedem Durchlauf einen neuen Zufallsseed erzeugen), Increment (den Seed-Wert um 1 erhöhen), Decrement (den Seed-Wert um 1 verringern) oder Fixed (den Seed-Wert konstant halten) eingestellt werden.
Step: Die Anzahl der Sampling-Schritte bestimmt die Intensität des Verfeinerungsprozesses. Höhere Werte führen zu weniger Artefakten und detaillierteren Bildern, erhöhen aber auch die Generierungszeit.
Sampler_name: Mit diesem Parameter können Benutzer den spezifischen Sampling-Algorithmus auswählen, der vom KSampler verwendet wird. Verschiedene Sampling-Algorithmen können leicht unterschiedliche Ergebnisse liefern und unterschiedliche Generierungsgeschwindigkeiten aufweisen.
Scheduler: Der Scheduler steuert, wie sich der Rauschpegel bei jedem Schritt des Entrauschungsprozesses ändert. Er bestimmt die Geschwindigkeit, mit der das Rauschen aus der latenten Repräsentation entfernt wird.
Denoise: Der Denoise-Parameter legt fest, wie viel des anfänglichen Rauschens durch den Entrauschungsprozess entfernt werden soll. Ein Wert von 1 bedeutet, dass das gesamte Rauschen entfernt wird, was zu einem sauberen und detaillierten Bild führt.
Durch Anpassung dieser Parameter können Sie den Bilderzeugungsprozess optimieren, um die gewünschten Ergebnisse zu erzielen.
Bei RunComfy haben wir das ultimative ComfyUI-Online-Erlebnis speziell für Sie geschaffen. Verabschieden Sie sich von komplizierten Installationen!
🎉 Probieren Sie ComfyUI Online jetzt aus und entfesseln Sie Ihr künstlerisches Potenzial wie nie zuvor! 🎉
Der Bild-zu-Bild-Workflow erzeugt ein Bild basierend auf einem Prompt und einem Eingabebild. Probieren Sie es selbst aus!
So verwenden Sie den Bild-zu-Bild-Workflow:
Für weitere Premium-ComfyUI-Workflows besuchen Sie unsere 🌟ComfyUI-Workflow-Liste🌟
Dank seiner extremen Konfigurierbarkeit ist ComfyUI eine der ersten GUIs, die das Stable Diffusion XL-Modell unterstützt. Lassen Sie es uns ausprobieren!
So verwenden Sie den ComfyUI SDXL-Workflow:
Tauchen wir in etwas Komplexeres ein: Inpainting! Wenn Sie ein tolles Bild haben, aber bestimmte Teile modifizieren möchten, ist Inpainting die beste Methode. Probieren Sie es hier aus!
So verwenden Sie den Inpainting-Workflow:
Outpainting ist eine weitere spannende Technik, mit der Sie Ihre Bilder über die ursprünglichen Grenzen hinaus erweitern können. 🌆 Es ist, als hätten Sie eine unendliche Leinwand zum Arbeiten!
So verwenden Sie den ComfyUI Outpainting-Workflow:
Für weitere Premium-Inpainting-/Outpainting-Workflows besuchen Sie unsere 🌟ComfyUI-Workflow-Liste🌟
Als Nächstes werden wir die ComfyUI-Hochskalierung erkunden. Wir stellen drei grundlegende Workflows vor, mit denen Sie effizient hochskalieren können.
Es gibt zwei Hauptmethoden zur Hochskalierung:
Zwei Möglichkeiten, dies zu erreichen:
Eine weitere Hochskalierungsmethode ist die Hochskalierung Latent, auch bekannt als Hi-res Latent Fix Upscale, bei der direkt im latenten Raum hochskaliert wird.
Für weitere Premium-Restore-/Upscale-Workflows besuchen Sie unsere 🌟ComfyUI-Workflow-Liste🌟
Machen Sie sich bereit, Ihre KI-Kunst mit ControlNet, einer bahnbrechenden Technologie, die die Bildgenerierung revolutioniert, auf die nächste Stufe zu heben!
ControlNet ist wie ein Zauberstab 🪄, der Ihnen eine beispiellose Kontrolle über Ihre KI-generierten Bilder verleiht. Es arbeitet Hand in Hand mit leistungsstarken Modellen wie Stable Diffusion, erweitert deren Fähigkeiten und ermöglicht Ihnen, den Bilderstellungsprozess wie nie zuvor zu steuern!
Stellen Sie sich vor, Sie könnten die Kanten, menschlichen Posen, Tiefen oder sogar Segmentierungskarten Ihres gewünschten Bildes festlegen. 🌠 Mit ControlNet können Sie genau das tun!
Wenn Sie tiefer in die Welt von ControlNet eintauchen und sein volles Potenzial entfesseln möchten, sind Sie bei uns genau richtig. Schauen Sie sich unser detailliertes Tutorial zum Meistern von ControlNet in ComfyUI! 📚 Es ist vollgepackt mit Schritt-für-Schritt-Anleitungen und inspirierenden Beispielen, die Ihnen helfen, ein ControlNet-Profi zu werden. 🏆
ComfyUI Manager ist ein benutzerdefinierter Knoten, mit dem Sie andere benutzerdefinierte Knoten über die ComfyUI-Oberfläche installieren und aktualisieren können. Die Schaltfläche Manager finden Sie im Menü Queue Prompt.
Wenn ein Workflow benutzerdefinierte Knoten erfordert, die Sie nicht installiert haben, gehen Sie wie folgt vor:
Doppelklicken Sie auf einen leeren Bereich, um ein Menü zum Suchen nach Knoten aufzurufen.
Embeddings, auch bekannt als textuelle Inversion, sind eine leistungsstarke Funktion in ComfyUI, mit der Sie benutzerdefinierte Konzepte oder Stile in Ihre KI-generierten Bilder einfügen können. 💡 Es ist, als würde man der KI ein neues Wort oder eine neue Phrase beibringen und es mit spezifischen visuellen Merkmalen verknüpfen.
Um Embeddings in ComfyUI zu verwenden, geben Sie einfach "embedding:" gefolgt vom Namen Ihres Embeddings in das Feld für positive oder negative Prompts ein. Zum Beispiel:
embedding: BadDream
Wenn Sie diesen Prompt verwenden, sucht ComfyUI im Ordner ComfyUI > models > embeddings nach einer Embedding-Datei mit dem Namen "BadDream". 📂 Wenn es eine Übereinstimmung findet, wendet es die entsprechenden visuellen Merkmale auf Ihr generiertes Bild an.
Embeddings sind eine großartige Möglichkeit, Ihre KI-Kunst zu personalisieren und bestimmte Stile oder Ästhetiken zu erreichen. 🎨 Sie können Ihre eigenen Embeddings erstellen, indem Sie sie mit einer Reihe von Bildern trainieren, die das gewünschte Konzept oder den gewünschten Stil darstellen.
Es kann mühsam sein, sich die genauen Namen Ihrer Embeddings zu merken, insbesondere wenn Sie eine große Sammlung haben. 😅 Hier kommt der benutzerdefinierte Knoten ComfyUI-Custom-Scripts zur Rettung!
So aktivieren Sie die automatische Vervollständigung von Embedding-Namen:
Sobald Sie den Knoten ComfyUI-Custom-Scripts installiert haben, erleben Sie eine benutzerfreundlichere Art, Embeddings zu verwenden. 😊 Beginnen Sie einfach mit der Eingabe von "embedding:" in einem Prompt-Feld und es erscheint eine Liste der verfügbaren Embeddings. Sie können dann das gewünschte Embedding aus der Liste auswählen und sparen so Zeit und Mühe!
Wussten Sie, dass Sie die Stärke Ihrer Embeddings steuern können? 💪 Da Embeddings im Wesentlichen Schlüsselwörter sind, können Sie Gewichtungen auf sie anwenden, genau wie Sie es mit regulären Schlüsselwörtern in Ihren Prompts tun würden.
Um die Gewichtung eines Embeddings anzupassen, verwenden Sie folgende Syntax:
(embedding: BadDream:1.2)
In diesem Beispiel wird die Gewichtung des Embeddings "BadDream" um 20% erhöht. Höhere Gewichtungen (z.B. 1,2) lassen das Embedding also stärker hervortreten, während niedrigere Gewichtungen (z.B. 0,8) seinen Einfluss verringern. 🎚️ So haben Sie noch mehr Kontrolle über das Endergebnis!
LoRA, kurz für Low-rank Adaptation, ist eine weitere spannende Funktion in ComfyUI, mit der Sie Ihre Checkpoint-Modelle modifizieren und optimieren können. 🎨 Es ist, als würde man ein kleines, spezialisiertes Modell auf das Basismodell aufsetzen, um bestimmte Stile zu erreichen oder benutzerdefinierte Elemente einzubauen.
LoRA-Modelle sind kompakt und effizient, was sie einfach zu verwenden und zu teilen macht. Sie werden häufig für Aufgaben wie die Modifikation des künstlerischen Stils eines Bildes oder das Einfügen einer bestimmten Person oder eines Objekts in das generierte Ergebnis verwendet.
Wenn Sie ein LoRA-Modell auf ein Checkpoint-Modell anwenden, modifiziert es die MODEL- und CLIP-Komponenten, während der VAE (Variational Autoencoder) unverändert bleibt. Das bedeutet, dass sich das LoRA auf die Anpassung des Inhalts und des Stils des Bildes konzentriert, ohne dessen Gesamtstruktur zu verändern.
Die Verwendung von LoRA in ComfyUI ist unkompliziert. Werfen wir einen Blick auf die einfachste Methode:
ComfyUI kombiniert dann das Checkpoint-Modell und das LoRA-Modell, um ein Bild zu erstellen, das die angegebenen Prompts widerspiegelt und die durch das LoRA eingeführten Modifikationen enthält.
Aber was ist, wenn Sie mehrere LoRAs auf ein einziges Bild anwenden möchten? Kein Problem! ComfyUI ermöglicht es Ihnen, zwei oder mehr LoRAs im selben Text-zu-Bild-Workflow zu verwenden.
Der Prozess ähnelt der Verwendung eines einzelnen LoRA, aber Sie müssen stattdessen mehrere LoRA-Modelle auswählen. ComfyUI wendet die LoRAs nacheinander an, d.h. jedes LoRA baut auf den Modifikationen des vorherigen auf.
Dies eröffnet eine Welt von Möglichkeiten, um verschiedene Stile, Elemente und Modifikationen in Ihren KI-generierten Bildern zu kombinieren. 🌍💡 Experimentieren Sie mit verschiedenen LoRA-Kombinationen, um einzigartige und kreative Ergebnisse zu erzielen!
Herzlichen Glückwunsch zum Abschluss dieses Einsteiger-Leitfadens für ComfyUI! 🙌 Sie sind jetzt bereit, in die aufregende Welt der KI-Kunst einzutauchen. Aber warum sich mit der Installation herumschlagen, wenn man sofort loslegen kann? 🤔
Bei RunComfy haben wir es Ihnen leicht gemacht, ComfyUI online zu nutzen, ohne jegliche Einrichtung. Unser ComfyUI Online-Service ist mit über 200 beliebten Knoten und Modellen sowie mehr als 50 beeindruckenden Workflows vorgeladen, die Ihre Kreationen inspirieren.
🌟 Egal, ob Sie ein Anfänger oder ein erfahrener KI-Künstler sind, RunComfy bietet alles, was Sie brauchen, um Ihre künstlerischen Visionen zum Leben zu erwecken. 💡 Warten Sie nicht länger – probieren Sie ComfyUI Online jetzt aus und erleben Sie die Kraft der KI-Kunst-Erstellung direkt vor Ihren Fingerspitzen! 🚀
© Urheberrecht 2024 RunComfy. Alle Rechte vorbehalten.