IC-Light | Bildomljusning

1. Vad är IC-Light?

IC-Light är ett AI-baserat bildredigeringsverktyg som integrerar med Stable Diffusion-modeller för att utföra lokala redigeringar på genererade bilder. Det fungerar genom att koda bilden till en latent rymdreprestation, tillämpa redigeringar på specifika områden och sedan avkoda den modifierade latenta representationen tillbaka till en bild. Detta tillvägagångssätt möjliggör exakt kontroll över redigeringsprocessen samtidigt som den övergripande stilen och sammanhållningen i den ursprungliga bilden bevaras.

Nu finns det två modeller släppta: textkonditionerad ombelysningsmodell och bakgrundskonditionerad modell. Båda typerna tar förgrundsbilder som indata.

2. Hur IC-Light Fungerar

Under huven utnyttjar IC-Light kraften i Stable Diffusion-modeller för att koda och avkoda bilder. Processen kan delas in i följande steg:

2.1. Kodning: Indatabilden skickas genom Stable Diffusion VAE (Variational Autoencoder) för att få en komprimerad latent rymdreprestation. 2.2. Redigering: De önskade redigeringarna tillämpas på specifika områden av den latenta representationen. Detta görs vanligtvis genom att kombinera den ursprungliga latenta med en mask som anger de områden som ska modifieras, tillsammans med motsvarande redigeringsuppmaningar. 2.3. Avkodning: Den modifierade latenta representationen skickas genom Stable Diffusion-avkodaren för att rekonstruera den redigerade bilden. Genom att arbeta i den latenta rymden kan IC-Light göra lokala redigeringar samtidigt som den övergripande sammanhållningen och stilen i bilden bevaras.

3. Hur man Använder ComfyUI IC-Light

Den huvudsakliga noden du kommer att arbeta med är "IC-Light Apply"-noden, som hanterar hela processen med att koda, redigera och avkoda din bild.

3.1. "IC-Light Apply" Indataparamerar:

"IC-Light Apply"-noden kräver tre huvudsakliga indata:

• model: Detta är den bas Stable Diffusion-modellen som kommer att användas för att koda och avkoda din bild.
• ic_model: Detta är den förtränade IC-Light-modellen som innehåller de nödvändiga vikterna för redigeringsprocessen.
• c_concat: Detta är en speciell indata som kombinerar din ursprungliga bild, masken som anger vilka områden som ska redigeras och redigeringsuppmaningarna som definierar hur dessa områden ska modifieras.

För att skapa c_concat-indatan:

1. Använd VAEEncodeArgMax-noden för att koda din ursprungliga bild. Denna nod säkerställer att den mest sannolika latenta representationen av din bild erhålls.
2. Använd ICLightApplyMaskGrey-noden för att skapa en maskerad version av din bild. Denna nod tar din ursprungliga bild och en mask som indata och ger en version av bilden där de icke-maskerade områdena är gråade.
3. Skapa latenta representationer av dina redigeringsuppmaningar. Dessa uppmaningar kommer att styra de modifieringar som görs på de valda områdena av din bild.
4. Kombinera de latenta representationerna av din ursprungliga bild, mask och redigeringsuppmaningar till en enda indata för "IC-Light Apply"-noden.

3.2. "IC-Light Apply" Utdata Parametrar:

Efter att ha bearbetat dina indata, kommer "IC-Light Apply"-noden att generera en enda parameter:

• model: Detta är den patchade Stable Diffusion-modellen med IC-Light-modifieringarna tillämpade.

För att generera din slutliga redigerade bild, anslut helt enkelt utdata-modellen till de lämpliga noderna i ditt ComfyUI-arbetsflöde, såsom KSampler och VAEDecode-noderna.

3.3. Tips för Bästa Resultat:

1. Använd högkvalitativa masker: För att säkerställa att dina redigeringar är precisa och effektiva, se till att dina masker noggrant avgränsar de områden du vill modifiera.
2. Experimentera med olika redigeringsuppmaningar: Redigeringsuppmaningarna är det som styr de modifieringar som görs på de valda områdena av din bild. Känn dig fri att prova olika uppmaningar för att uppnå önskad effekt, och tveka inte att förfina dina uppmaningar baserat på de resultat du får.
3. Balansera globala och lokala redigeringar: Även om IC-Light är utmärkt för att göra lokala redigeringar, är det viktigt att överväga den övergripande kompositionen och sammanhållningen i din bild. Försök att hitta en balans mellan fokuserade redigeringar och globala justeringar för att bevara integriteten i ditt genererade konstverk.

För mer information, besök gärna github