IC-Light | Billedrelæ

1. Hvad er IC-Light?

IC-Light er et AI-baseret billedredigeringsværktøj, der integreres med Stable Diffusion modeller til at udføre lokaliserede redigeringer på genererede billeder. Det fungerer ved at kode billedet til en latent rum repræsentation, anvende redigeringer på specifikke regioner og derefter dekode den modificerede latente repræsentation tilbage til et billede. Denne tilgang tillader præcis kontrol over redigeringsprocessen, mens den bevarer den overordnede stil og sammenhæng i det originale billede.

Nu er der to modeller frigivet: tekst-betinget relæmodel og baggrunds-betinget model. Begge typer tager forgrundsbilleder som input.

2. Hvordan IC-Light Fungerer

Under motorhjelmen udnytter IC-Light kraften i Stable Diffusion modeller til at kode og dekode billeder. Processen kan opdeles i følgende trin:

2.1. Kodning: Inputbilledet sendes gennem Stable Diffusion VAE (Variational Autoencoder) for at opnå en komprimeret latent rum repræsentation. 2.2. Redigering: De ønskede redigeringer anvendes på specifikke regioner af den latente repræsentation. Dette gøres typisk ved at sammenkæde den originale latente med en maske, der angiver de områder, der skal ændres, sammen med de tilsvarende redigeringsprompts. 2.3. Dekodning: Den modificerede latente repræsentation sendes gennem Stable Diffusion dekoderen for at rekonstruere det redigerede billede. Ved at operere i det latente rum kan IC-Light foretage lokaliserede redigeringer, mens den bevarer den overordnede sammenhæng og stil i billedet.

3. Hvordan Man Bruger ComfyUI IC-Light

Den vigtigste node, du vil arbejde med, er "IC-Light Apply" noden, som håndterer hele processen med kodning, redigering og dekodning af dit billede.

3.1. "IC-Light Apply" Input Parametre:

"IC-Light Apply" noden kræver tre hovedinput:

• model: Dette er den grundlæggende Stable Diffusion model, der vil blive brugt til at kode og dekode dit billede.
• ic_model: Dette er den forudtrænede IC-Light model, der indeholder de nødvendige vægte til redigeringsprocessen.
• c_concat: Dette er et specielt input, der kombinerer dit originale billede, masken der angiver hvilke områder der skal redigeres, og redigeringsprompts der definerer, hvordan disse områder skal ændres.

For at oprette c_concat input:

1. Brug VAEEncodeArgMax noden til at kode dit originale billede. Denne node sikrer, at den mest sandsynlige latente repræsentation af dit billede opnås.
2. Brug ICLightApplyMaskGrey noden til at oprette en maskerede version af dit billede. Denne node tager dit originale billede og en maske som input, og den outputter en version af billedet, hvor de ikke-maskerede områder er grået ud.
3. Opret latente repræsentationer af dine redigeringsprompts. Disse prompts vil guide de ændringer, der foretages på de valgte områder af dit billede.
4. Kombiner de latente repræsentationer af dit originale billede, maske og redigeringsprompts til et enkelt input for "IC-Light Apply" noden.

3.2. "IC-Light Apply" Output Parametre:

Efter at have behandlet dine input vil "IC-Light Apply" noden outputte en enkelt parameter:

• model: Dette er den patched Stable Diffusion model med IC-Light modifikationer anvendt.

For at generere dit endelige redigerede billede skal du blot forbinde outputmodellen til de passende noder i din ComfyUI arbejdsproces, såsom KSampler og VAEDecode noderne.

3.3. Tips til Bedste Resultater:

1. Brug høj kvalitet masker: For at sikre, at dine redigeringer er præcise og effektive, skal du sørge for, at dine masker nøjagtigt afgrænser de områder, du vil ændre.
2. Eksperimenter med forskellige redigeringsprompts: Redigeringsprompts er det, der guider de ændringer, der foretages på de valgte områder af dit billede. Føl dig fri til at prøve forskellige prompts for at opnå den ønskede effekt, og tøv ikke med at finjustere dine prompts baseret på de resultater, du får.
3. Balance mellem globale og lokale redigeringer: Mens IC-Light er fantastisk til at lave lokaliserede redigeringer, er det vigtigt at overveje den overordnede komposition og sammenhæng i dit billede. Prøv at finde en balance mellem fokuserede redigeringer og globale justeringer for at bevare integriteten af din genererede kunst.

For mere information, besøg venligst github