IC-Light | Bildeomlysning

1. Hva er IC-Light?

IC-Light er et AI-basert bildebehandlingsverktøy som integrerer med Stable Diffusion-modeller for å utføre lokale redigeringer på genererte bilder. Det fungerer ved å kode bildet til en latent romrepresentasjon, anvende redigeringer på spesifikke områder, og deretter dekode den modifiserte latente representasjonen tilbake til et bilde. Denne tilnærmingen tillater presis kontroll over redigeringsprosessen samtidig som den bevarer den generelle stilen og sammenhengen i det originale bildet.

Nå er det to modeller tilgjengelig: tekstkondisjonert omlysningsmodell og bakgrunnskondisjonert modell. Begge typene tar forgrunnsbilder som input.

2. Hvordan IC-Light fungerer

Under panseret utnytter IC-Light kraften til Stable Diffusion-modeller for å kode og dekode bilder. Prosessen kan brytes ned i følgende trinn:

2.1. Koding: Inngangsbilde sendes gjennom Stable Diffusion VAE (Variational Autoencoder) for å oppnå en komprimert latent romrepresentasjon. 2.2. Redigering: De ønskede redigeringene anvendes på spesifikke områder av den latente representasjonen. Dette gjøres typisk ved å sammenstille den originale latenten med en maske som indikerer områdene som skal modifiseres, sammen med de tilsvarende redigeringsforespørslene. 2.3. Dekoding: Den modifiserte latente representasjonen sendes gjennom Stable Diffusion-dekoderen for å rekonstruere det redigerte bildet. Ved å operere i det latente rommet kan IC-Light gjøre lokale redigeringer samtidig som den opprettholder den generelle sammenhengen og stilen i bildet.

3. Hvordan bruke ComfyUI IC-Light

Hovednoden du vil jobbe med er "IC-Light Apply"-noden, som håndterer hele prosessen med koding, redigering og dekoding av bildet ditt.

3.1. "IC-Light Apply" Inngangsparametere:

"IC-Light Apply"-noden krever tre hovedinnganger:

• model: Dette er den grunnleggende Stable Diffusion-modellen som vil bli brukt til å kode og dekode bildet ditt.
• ic_model: Dette er den forhåndstrente IC-Light-modellen som inneholder de nødvendige vektene for redigeringsprosessen.
• c_concat: Dette er en spesiell input som kombinerer ditt originale bilde, masken som indikerer hvilke områder som skal redigeres, og redigeringsforespørslene som definerer hvordan disse områdene skal modifiseres.

For å opprette c_concat-input:

1. Bruk VAEEncodeArgMax-noden for å kode ditt originale bilde. Denne noden sikrer at den mest sannsynlige latente representasjonen av bildet ditt oppnås.
2. Bruk ICLightApplyMaskGrey-noden for å lage en maskert versjon av bildet ditt. Denne noden tar ditt originale bilde og en maske som input, og den utgir en versjon av bildet der de ikke-maskerte områdene er grået ut.
3. Lag latente representasjoner av dine redigeringsforespørsler. Disse forespørslene vil veilede modifikasjonene som gjøres på de valgte områdene av bildet ditt.
4. Kombiner de latente representasjonene av ditt originale bilde, maske og redigeringsforespørsler til en enkelt input for "IC-Light Apply"-noden.

3.2. "IC-Light Apply" Utgangsparametere:

Etter å ha behandlet dine innganger, vil "IC-Light Apply"-noden utgi en enkelt parameter:

• model: Dette er den lappede Stable Diffusion-modellen med IC-Light-modifikasjonene anvendt.

For å generere ditt endelige redigerte bilde, koble utgangsmodellen til de relevante nodene i din ComfyUI arbeidsflyt, som KSampler og VAEDecode-nodene.

3.3. Tips for beste resultater:

1. Bruk høykvalitets masker: For å sikre at redigeringene dine er presise og effektive, sørg for at maskene dine nøyaktig omkranser områdene du vil modifisere.
2. Eksperimenter med forskjellige redigeringsforespørsler: Redigeringsforespørslene er det som veileder modifikasjonene som gjøres på de valgte områdene av bildet ditt. Ikke nøl med å prøve forskjellige forespørsler for å oppnå ønsket effekt, og finjuster gjerne forespørslene basert på resultatene du får.
3. Balanser globale og lokale redigeringer: Selv om IC-Light er flott for å gjøre lokale redigeringer, er det viktig å vurdere den generelle komposisjonen og sammenhengen i bildet ditt. Prøv å finne en balanse mellom fokuserte redigeringer og globale justeringer for å opprettholde integriteten til ditt genererte kunstverk.

For mer informasjon, vennligst besøk github