Updated: 5/24/2024
Hallo, mede AI-kunstenaars! 👋 Welkom bij onze gebruiksvriendelijke tutorial over ComfyUI, een ongelooflijk krachtig en flexibel hulpmiddel voor het maken van verbluffende door AI gegenereerde kunstwerken. 🎨 In deze gids nemen we je mee door de basisprincipes van ComfyUI, verkennen we de functies en helpen we je het potentieel ervan te ontgrendelen om je AI-kunst naar een hoger niveau te tillen. 🚀
We zullen behandelen:
ComfyUI is als het hebben van een toverstaf 🪄 voor het moeiteloos creëren van verbluffende, door AI gegenereerde kunstwerken. In de kern is ComfyUI een op nodes gebaseerde grafische gebruikersinterface (GUI) gebouwd op Stable Diffusion, een geavanceerd deep learning model dat beelden genereert vanuit tekstbeschrijvingen. 🌟 Maar wat ComfyUI echt speciaal maakt, is hoe het kunstenaars zoals jij in staat stelt je creativiteit te ontketenen en je wildste ideeën tot leven te brengen.
Stel je een digitaal canvas voor waar je je eigen unieke afbeeldingsgeneratie workflows kunt samenstellen door verschillende nodes te verbinden, elk met een specifieke functie of bewerking. 🧩 Het is als het bouwen van een visueel recept voor je door AI gegenereerde meesterwerken!
Wil je een afbeelding vanaf nul genereren met een tekstprompt? Daar is een node voor! Wil je een specifieke sampler toepassen of het ruisniveau verfijnen? Voeg gewoon de bijbehorende nodes toe en zie de magie gebeuren. ✨
Maar hier is het beste deel: ComfyUI breekt de workflow af in herschikbare elementen, waardoor je de vrijheid hebt om je eigen aangepaste workflows te creëren die zijn afgestemd op je artistieke visie. 🖼️ Het is als het hebben van een gepersonaliseerde toolkit die zich aanpast aan je creatieve proces.
AUTOMATIC1111 is de standaard GUI voor Stable Diffusion. Dus, moet je in plaats daarvan ComfyUI gebruiken? Laten we vergelijken:
✅ Voordelen van het gebruik van ComfyUI:
❌ Nadelen van het gebruik van ComfyUI:
Wij geloven dat de beste manier om ComfyUI te leren is door in voorbeelden te duiken en het zelf te ervaren. 🙌 Daarom hebben we deze unieke tutorial gemaakt die zich onderscheidt van anderen. In deze tutorial vind je een gedetailleerde, stapsgewijze gids die je kunt volgen.
Maar hier is het beste deel: 🌟 We hebben ComfyUI direct in deze webpagina geïntegreerd! Je kunt in real-time interactie hebben met ComfyUI-voorbeelden terwijl je de gids doorloopt.🌟 Laten we beginnen!
Laten we beginnen met het eenvoudigste geval: een afbeelding genereren vanuit tekst. Klik op Queue Prompt om de workflow uit te voeren. Na een korte wachttijd zou je je eerste gegenereerde afbeelding moeten zien! Om je wachtrij te controleren, klik je gewoon op View Queue.
Hier is een standaard tekst-naar-afbeelding workflow voor jou om te proberen:
De ComfyUI workflow bestaat uit twee basisbouwstenen: Nodes en Edges.
Selecteer eerst een Stable Diffusion Checkpoint model in de Load Checkpoint node. Klik op de modelnaam om beschikbare modellen te bekijken. Als het klikken op de modelnaam niets doet, moet je mogelijk een aangepast model uploaden.
Je ziet twee nodes met het label CLIP Text Encode (Prompt). De bovenste prompt is verbonden met de positieve invoer van de KSampler node, terwijl de onderste prompt is verbonden met de negatieve invoer. Voer je positieve prompt dus in de bovenste in en je negatieve prompt in de onderste.
De CLIP Text Encode node zet de prompt om in tokens en codeert ze in embeddings met behulp van de tekstencoder.
💡 Tip: Gebruik de syntaxis (keyword:weight) om het gewicht van een sleutelwoord te regelen, bijvoorbeeld (keyword:1.2) om het effect te vergroten of (keyword:0.8) om het te verminderen.
Klik op Queue Prompt om de workflow uit te voeren. Na een korte wachttijd wordt je eerste afbeelding gegenereerd!
De kracht van ComfyUI ligt in de configureerbaarheid. Begrijpen wat elke node doet, stelt je in staat ze aan te passen aan je behoeften. Maar voordat we in de details duiken, laten we eens kijken naar het Stable Diffusion proces om beter te begrijpen hoe ComfyUI werkt.
Het Stable Diffusion proces kan worden samengevat in drie hoofd stappen:
Nu we een globaal begrip hebben van het Stable Diffusion proces, laten we de belangrijkste componenten en nodes in ComfyUI verkennen die dit proces mogelijk maken.
De Laad Checkpoint node in ComfyUI is cruciaal voor het selecteren van een Stable Diffusion model. Een Stable Diffusion model bestaat uit drie hoofdcomponenten: MODEL, CLIP en VAE. Laten we elk component en zijn relatie met de bijbehorende nodes in ComfyUI verkennen.
Het is belangrijk op te merken dat de VAE een aparte component is van het CLIP taalmodel. Terwijl CLIP zich richt op het verwerken van tekstprompts, houdt de VAE zich bezig met de conversie tussen pixel- en latente ruimtes.
De CLIP Text Encode node in ComfyUI is verantwoordelijk voor het nemen van de door de gebruiker verstrekte prompts en deze in het CLIP taalmodel te voeren. CLIP is een krachtig taalmodel dat de semantische betekenis van woorden begrijpt en ze kan associëren met visuele concepten. Wanneer een prompt wordt ingevoerd in de CLIP Text Encode node, ondergaat deze een transformatieproces waarbij elk woord wordt omgezet in embeddings. Deze embeddings zijn hoog-dimensionale vectoren die de semantische informatie van de woorden vastleggen. Door de prompts om te zetten in embeddings, stelt CLIP het MODEL in staat afbeeldingen te genereren die nauwkeurig de betekenis en intentie van de gegeven prompts weerspiegelen.
In het tekst-naar-afbeelding proces begint de generatie met een willekeurige afbeelding in de latente ruimte. Deze willekeurige afbeelding dient als de beginstaat voor het MODEL om mee te werken. De grootte van de latente afbeelding is evenredig aan de werkelijke afbeeldingsgrootte in de pixelruimte. In ComfyUI kun je de hoogte en breedte van de latente afbeelding aanpassen om de grootte van de gegenereerde afbeelding te regelen. Bovendien kun je de batchgrootte instellen om het aantal afbeeldingen te bepalen dat in elke run wordt gegenereerd.
De optimale maten voor latente afbeeldingen zijn afhankelijk van het specifieke Stable Diffusion model dat wordt gebruikt. Voor SD v1.5 modellen zijn de aanbevolen maten 512x512 of 768x768, terwijl voor SDXL modellen de optimale maat 1024x1024 is. ComfyUI biedt een reeks veelvoorkomende beeldverhoudingen om uit te kiezen, zoals 1:1 (vierkant), 3:2 (landschap), 2:3 (portret), 4:3 (landschap), 3:4 (portret), 16:9 (breedbeeld) en 9:16 (verticaal). Het is belangrijk op te merken dat de breedte en hoogte van de latente afbeelding deelbaar moeten zijn door 8 om compatibiliteit met de architectuur van het model te waarborgen.
De VAE (Variational AutoEncoder) is een cruciale component in het Stable Diffusion model die verantwoordelijk is voor het omzetten van afbeeldingen tussen de pixelruimte en de latente ruimte. Het bestaat uit twee hoofdonderdelen: een Beeldencoder en een Beelddecoder.
De Beeldencoder neemt een afbeelding in de pixelruimte en comprimeert deze tot een lager-dimensionale latente representatie. Dit compressieproces vermindert de gegevensgrootte aanzienlijk, waardoor efficiëntere verwerking en opslag mogelijk zijn. Bijvoorbeeld, een afbeelding van 512x512 pixels kan worden gecomprimeerd tot een latente representatie van 64x64.
Aan de andere kant is de Beelddecoder, ook bekend als de VAE-decoder, verantwoordelijk voor het reconstrueren van de afbeelding vanuit de latente representatie terug naar de pixelruimte. Het neemt de gecomprimeerde latente representatie en breidt deze uit om de uiteindelijke afbeelding te genereren.
Het gebruik van een VAE biedt verschillende voordelen:
Er zijn echter ook enkele nadelen om te overwegen: 1. Gegevensverlies: Tijdens het coderings- en decoderingsproces kunnen sommige details van de oorspronkelijke afbeelding verloren gaan. De compressie- en reconstructiestappen kunnen artefacten of kleine variaties in de uiteindelijke afbeelding introduceren in vergelijking met het origineel. 2. Beperkte vastlegging van oorspronkelijke gegevens: De lager-dimensionale latente ruimte kan mogelijk niet alle ingewikkelde kenmerken en details van de oorspronkelijke afbeelding volledig vastleggen. Sommige informatie kan verloren gaan tijdens het compressieproces, wat resulteert in een iets minder nauwkeurige representatie van de oorspronkelijke gegevens.
Ondanks deze beperkingen speelt de VAE een cruciale rol in het Stable Diffusion model door efficiënte conversie tussen de pixelruimte en de latente ruimte mogelijk te maken, wat snellere generatie en preciezere controle over de gegenereerde afbeeldingen faciliteert.
De KSampler node in ComfyUI is het hart van het afbeeldingsgeneratieproces in Stable Diffusion. Het is verantwoordelijk voor het denoisen van de willekeurige afbeelding in de latente ruimte om overeen te komen met de door de gebruiker verstrekte prompt. De KSampler maakt gebruik van een techniek genaamd reverse diffusion, waarbij het iteratief de latente representatie verfijnt door ruis te verwijderen en betekenisvolle details toe te voegen op basis van de begeleiding van de CLIP embeddings.
De KSampler node biedt verschillende parameters waarmee gebruikers het afbeeldingsgeneratieproces kunnen afstemmen:
Seed: De seed waarde bepaalt de initiële ruis en compositie van de uiteindelijke afbeelding. Door een specifieke seed in te stellen, kunnen gebruikers reproduceerbare resultaten bereiken en consistentie behouden over meerdere generaties.
Control_after_generation: Deze parameter bepaalt hoe de seed waarde verandert na elke generatie. Het kan worden ingesteld op randomize (genereer een nieuwe willekeurige seed voor elke run), increment (verhoog de seed waarde met 1), decrement (verlaag de seed waarde met 1), of fixed (houd de seed waarde constant).
Step: Het aantal sampling stappen bepaalt de intensiteit van het verfijningsproces. Hogere waarden resulteren in minder artefacten en meer gedetailleerde afbeeldingen, maar verhogen ook de generatietijd.
Sampler_name: Deze parameter stelt gebruikers in staat het specifieke sampling algoritme te kiezen dat door de KSampler wordt gebruikt. Verschillende sampling algoritmen kunnen iets andere resultaten opleveren en hebben variërende generatiesnelheden.
Scheduler: De scheduler regelt hoe het ruisniveau verandert bij elke stap van het denoising proces. Het bepaalt de snelheid waarmee ruis uit de latente representatie wordt verwijderd.
Denoise: De denoise parameter stelt de hoeveelheid initiële ruis in die door het denoising proces moet worden verwijderd. Een waarde van 1 betekent dat alle ruis zal worden verwijderd, wat resulteert in een schone en gedetailleerde afbeelding.
Door deze parameters aan te passen, kun je het afbeeldingsgeneratieproces afstemmen om de gewenste resultaten te bereiken.
Bij RunComfy hebben we de ultieme ComfyUI online ervaring voor jou gecreëerd. Zeg vaarwel tegen ingewikkelde installaties! 🎉 Probeer ComfyUI Online nu en ontketen je artistieke potentieel als nooit tevoren! 🎉
De Afbeelding-naar-Afbeelding workflow genereert een afbeelding op basis van een prompt en een invoerafbeelding. Probeer het zelf!
Om de Afbeelding-naar-Afbeelding workflow te gebruiken:
Voor meer premium ComfyUI workflows, bezoek onze 🌟ComfyUI Workflow List🌟
Dankzij zijn extreme configureerbaarheid is ComfyUI een van de eerste GUI's die het Stable Diffusion XL model ondersteunt. Laten we het proberen!
Om de ComfyUI SDXL workflow te gebruiken:
Laten we iets complexers induiken: inpainting! Wanneer je een geweldige afbeelding hebt maar specifieke delen wilt wijzigen, is inpainting de beste methode. Probeer het hier!
Om de inpainting workflow te gebruiken:
Outpainting is een andere spannende techniek waarmee je je afbeeldingen kunt uitbreiden buiten hun oorspronkelijke grenzen. 🌆 Het is als het hebben van een oneindig canvas om mee te werken!
Om de ComfyUI Outpainting workflow te gebruiken:
Voor meer premium inpainting/outpainting workflows, bezoek onze 🌟ComfyUI Workflow List🌟
Laten we verder verkennen met ComfyUI upscaling. We zullen drie fundamentele workflows introduceren om je te helpen efficiënt op te schalen.
Er zijn twee hoofdmethoden voor upscaling:
Twee manieren om dit te bereiken:
Een andere upscaling methode is Upscale Latent, ook bekend als Hi-res Latent Fix Upscale, die direct in de latente ruimte opwaardeert.
Voor meer premium restore/upscale workflows, bezoek onze 🌟ComfyUI Workflow List🌟
Maak je klaar om je AI-kunst naar een hoger niveau te tillen met ControlNet, een baanbrekende technologie die de beeldgeneratie revolutioneert!
ControlNet is als een toverstaf 🪄 die je ongekende controle geeft over je door AI gegenereerde afbeeldingen. Het werkt hand in hand met krachtige modellen zoals Stable Diffusion, waardoor hun mogelijkheden worden verbeterd en je het beeldcreatieproces kunt sturen als nooit tevoren!
Stel je voor dat je de randen, menselijke poses, diepte of zelfs segmentatiekaarten van je gewenste afbeelding kunt specificeren. 🌠 Met ControlNet kun je dat doen!
Als je dieper wilt duiken in de wereld van ControlNet en het volledige potentieel ervan wilt ontketenen, hebben we je gedekt. Bekijk onze gedetailleerde tutorial over mastering ControlNet in ComfyUI! 📚 Het zit boordevol stapsgewijze gidsen en inspirerende voorbeelden om je te helpen een ControlNet-pro te worden. 🏆
ComfyUI Manager is een aangepaste node waarmee je andere aangepaste nodes kunt installeren en updaten via de ComfyUI-interface. Je vindt de Manager knop in het Queue Prompt menu.
Als een workflow aangepaste nodes vereist die je niet hebt geïnstalleerd, volg dan deze stappen:
Dubbelklik op een leeg gebied om een menu te openen om naar nodes te zoeken.
Embeddings, ook bekend als textual inversion, zijn een krachtige functie in ComfyUI waarmee je aangepaste concepten of stijlen in je door AI gegenereerde afbeeldingen kunt injecteren. 💡 Het is als het aanleren van een nieuw woord of frase aan de AI en het associëren met specifieke visuele kenmerken.
Om embeddings in ComfyUI te gebruiken, typ je eenvoudig "embedding:" gevolgd door de naam van je embedding in de positieve of negatieve prompt box. Bijvoorbeeld:
embedding: BadDream
Wanneer je deze prompt gebruikt, zoekt ComfyUI naar een embedding-bestand met de naam "BadDream" in de ComfyUI > models > embeddings map. 📂 Als het een overeenkomst vindt, past het de bijbehorende visuele kenmerken toe op je gegenereerde afbeelding.
Embeddings zijn een geweldige manier om je AI-kunst te personaliseren en specifieke stijlen of esthetiek te bereiken. 🎨 Je kunt je eigen embeddings maken door ze te trainen op een set afbeeldingen die het gewenste concept of de gewenste stijl vertegenwoordigen.
Het onthouden van de exacte namen van je embeddings kan lastig zijn, vooral als je een grote collectie hebt. 😅 Daar komt de ComfyUI-Custom-Scripts aangepaste node te hulp!
Om embedding naam autocomplete in te schakelen:
Zodra je de ComfyUI-Custom-Scripts node hebt geïnstalleerd, ervaar je een gebruiksvriendelijkere manier om embeddings te gebruiken. 😊 Begin gewoon met typen "embedding:" in een prompt box, en een lijst met beschikbare embeddings verschijnt. Je kunt vervolgens de gewenste embedding uit de lijst selecteren, wat je tijd en moeite bespaart!
Wist je dat je de sterkte van je embeddings kunt regelen? 💪 Omdat embeddings in wezen sleutelwoorden zijn, kun je er gewichten op toepassen, net zoals je zou doen met gewone sleutelwoorden in je prompts.
Om het gewicht van een embedding aan te passen, gebruik je de volgende syntaxis:
(embedding: BadDream:1.2)
In dit voorbeeld wordt het gewicht van de "BadDream" embedding met 20% verhoogd. Dus hogere gewichten (bijv. 1.2) zullen de embedding prominenter maken, terwijl lagere gewichten (bijv. 0.8) de invloed ervan verminderen. 🎚️ Dit geeft je nog meer controle over het eindresultaat!
LoRA, kort voor Low-rank Adaptation, is een andere spannende functie in ComfyUI waarmee je je checkpoint modellen kunt wijzigen en fijn afstemmen. 🎨 Het is als het toevoegen van een klein, gespecialiseerd model bovenop je basismodel om specifieke stijlen te bereiken of aangepaste elementen op te nemen.
LoRA modellen zijn compact en efficiënt, waardoor ze gemakkelijk te gebruiken en te delen zijn. Ze worden vaak gebruikt voor taken zoals het wijzigen van de artistieke stijl van een afbeelding of het injecteren van een specifieke persoon of object in het gegenereerde resultaat.
Wanneer je een LoRA model toepast op een checkpoint model, wijzigt het de MODEL en CLIP componenten terwijl het de VAE (Variational Autoencoder) onaangetast laat. Dit betekent dat de LoRA zich richt op het aanpassen van de inhoud en stijl van de afbeelding zonder de algehele structuur te veranderen.
Het gebruik van LoRA in ComfyUI is eenvoudig. Laten we de eenvoudigste methode bekijken:
ComfyUI combineert vervolgens het checkpoint model en het LoRA model om een afbeelding te creëren die de gespecificeerde prompts weerspiegelt en de aanpassingen introduceert door de LoRA.
Maar wat als je meerdere LoRAs op één afbeelding wilt toepassen? Geen probleem! ComfyUI stelt je in staat om twee of meer LoRAs in dezelfde tekst-naar-afbeelding workflow te gebruiken.
Het proces is vergelijkbaar met het gebruik van een enkele LoRA, maar je moet meerdere LoRA modellen selecteren in plaats van slechts één. ComfyUI past de LoRAs sequentieel toe, wat betekent dat elke LoRA voortbouwt op de aanpassingen geïntroduceerd door de vorige.
Dit opent een wereld van mogelijkheden om verschillende stijlen, elementen en aanpassingen te combineren in je door AI gegenereerde afbeeldingen. 🌍💡 Experimenteer met verschillende LoRA combinaties om unieke en creatieve resultaten te bereiken!
Gefeliciteerd met het voltooien van deze beginnersgids voor ComfyUI! 🙌 Je bent nu klaar om de spannende wereld van AI-kunstcreatie te verkennen. Maar waarom zou je je bezighouden met installatie als je meteen kunt beginnen met creëren? 🤔
Bij RunComfy hebben we het je eenvoudig gemaakt om ComfyUI online te gebruiken zonder enige setup. Onze ComfyUI Online service wordt vooraf geladen met meer dan 200 populaire nodes en modellen, samen met meer dan 50 verbluffende workflows om je creaties te inspireren.
🌟 Of je nu een beginner bent of een ervaren AI-kunstenaar, RunComfy heeft alles wat je nodig hebt om je artistieke visies tot leven te brengen. 💡 Wacht niet langer – probeer ComfyUI Online nu en ervaar de kracht van AI-kunstcreatie binnen handbereik! 🚀
© Copyright 2024 RunComfy. Alle Rechten Voorbehouden.