IC-Light | Beeldverlichting

1. Wat is IC-Light?

IC-Light is een AI-gebaseerd beeldbewerkingshulpmiddel dat integreert met Stable Diffusion modellen om lokale bewerkingen uit te voeren op gegenereerde beelden. Het werkt door het beeld te coderen in een latente ruimterepresentatie, bewerkingen toe te passen op specifieke regio's, en vervolgens de gewijzigde latente representatie terug te decoderen naar een beeld. Deze aanpak maakt precieze controle over het bewerkingsproces mogelijk, terwijl de algehele stijl en samenhang van het originele beeld behouden blijven.

Nu zijn er twee modellen uitgebracht: tekst-geconditioneerd belichtingsmodel en achtergrond-geconditioneerd model. Beide typen nemen voorgrondbeelden als input.

2. Hoe IC-Light werkt

Onder de motorkap maakt IC-Light gebruik van de kracht van Stable Diffusion modellen om beelden te coderen en decoderen. Het proces kan worden opgesplitst in de volgende stappen:

2.1. Coderen: Het invoerbeeld wordt door de Stable Diffusion VAE (Variational Autoencoder) geleid om een gecomprimeerde latente ruimterepresentatie te verkrijgen. 2.2. Bewerken: De gewenste bewerkingen worden toegepast op specifieke regio's van de latente representatie. Dit wordt meestal gedaan door de originele latente representatie te combineren met een masker dat de gebieden aangeeft die moeten worden gewijzigd, samen met de bijbehorende bewerkingsprompts. 2.3. Decoderen: De gewijzigde latente representatie wordt door de Stable Diffusion decoder geleid om het bewerkte beeld te reconstrueren. Door in de latente ruimte te werken, kan IC-Light lokale bewerkingen uitvoeren terwijl de algehele samenhang en stijl van het beeld behouden blijven.

3. Hoe ComfyUI IC-Light te gebruiken

De belangrijkste node waarmee je werkt, is de "IC-Light Apply" node, die het hele proces van coderen, bewerken en decoderen van je beeld afhandelt.

3.1. "IC-Light Apply" invoerparameters:

De "IC-Light Apply" node vereist drie hoofdinputs:

• model: Dit is het basis Stable Diffusion model dat wordt gebruikt voor het coderen en decoderen van je beeld.
• ic_model: Dit is het voorgetrainde IC-Light model dat de benodigde gewichten voor het bewerkingsproces bevat.
• c_concat: Dit is een speciale input die je originele beeld, het masker dat aangeeft welke gebieden moeten worden bewerkt, en de bewerkingsprompts die definiëren hoe die gebieden moeten worden gewijzigd, combineert.

Om de c_concat input te creëren:

1. Gebruik de VAEEncodeArgMax node om je originele beeld te coderen. Deze node zorgt ervoor dat de meest waarschijnlijke latente representatie van je beeld wordt verkregen.
2. Gebruik de ICLightApplyMaskGrey node om een gemaskeerde versie van je beeld te maken. Deze node neemt je originele beeld en een masker als input, en geeft een versie van het beeld waar de niet-gemaskeerde gebieden grijs zijn gemaakt.
3. Creëer latente representaties van je bewerkingsprompts. Deze prompts zullen de wijzigingen leiden die worden aangebracht aan de geselecteerde regio's van je beeld.
4. Combineer de latente representaties van je originele beeld, masker en bewerkingsprompts in een enkele input voor de "IC-Light Apply" node.

3.2. "IC-Light Apply" uitvoerparameters:

Na het verwerken van je inputs, zal de "IC-Light Apply" node een enkele parameter outputten:

• model: Dit is het gepatchte Stable Diffusion model met de IC-Light wijzigingen toegepast.

Om je uiteindelijke bewerkte beeld te genereren, verbind je simpelweg het uitvoermodel met de juiste nodes in je ComfyUI workflow, zoals de KSampler en VAEDecode nodes.

3.3. Tips voor de beste resultaten:

1. Gebruik hoogwaardige maskers: Om ervoor te zorgen dat je bewerkingen nauwkeurig en effectief zijn, zorg ervoor dat je maskers nauwkeurig de gebieden omtrekken die je wilt wijzigen.
2. Experimenteer met verschillende bewerkingsprompts: De bewerkingsprompts zijn wat de wijzigingen leiden die worden aangebracht aan de geselecteerde regio's van je beeld. Voel je vrij om verschillende prompts te proberen om het gewenste effect te bereiken, en aarzel niet om je prompts te verfijnen op basis van de resultaten die je krijgt.
3. Balans tussen globale en lokale bewerkingen: Hoewel IC-Light geweldig is voor het maken van lokale bewerkingen, is het belangrijk om rekening te houden met de algehele compositie en samenhang van je beeld. Probeer een balans te vinden tussen gerichte bewerkingen en globale aanpassingen om de integriteit van je gegenereerde kunstwerk te behouden.

Voor meer informatie, bezoek github