CCSR | Consistente Beeld/Video Opschaler

1. ComfyUI CCSR | ComfyUI Upscale Workflow

Deze ComfyUI workflow bevat het CCSR (Content Consistent Super-Resolution) model, ontworpen om inhoudelijke consistentie in superresolutietaken te verbeteren. Na de toepassing van het CCSR-model is er een optionele stap die opnieuw opschalen omvat door ruis toe te voegen en het ControlNet recolor model te gebruiken. Dit is een experimentele functie voor gebruikers om te verkennen.

Standaard is deze workflow ingesteld voor beeldopschaling. Om video's op te schalen, vervang gewoon "load image" door "load video" en verander "save image" in "combine video."

2. Inleiding tot CCSR

Voorgetrainde latente diffusie modellen worden erkend voor hun potentieel om de perceptuele kwaliteit van beeld superresolutie (SR) uitkomsten te verbeteren. Deze modellen produceren echter vaak variabele resultaten voor identieke lage resolutie afbeeldingen onder verschillende ruisomstandigheden. Deze variabiliteit, hoewel voordelig voor tekst-naar-beeld generatie, vormt uitdagingen voor SR-taken, die consistentie in inhoudsbescherming vereisen.

Om de betrouwbaarheid van diffusie prior-gebaseerde SR te verbeteren, gebruikt CCSR (Content Consistent Super-Resolution) een strategie die diffusie modellen combineert voor het verfijnen van beeldstructuren met generatieve adversariële netwerken (GANs) voor het verbeteren van fijne details. Het introduceert een niet-uniforme tijdstap leermethode om een compact diffusienetwerk te trainen. Dit netwerk reconstrueert efficiënt en stabiel de hoofdstructuren van een beeld, terwijl de voorgetrainde decoder van een variational auto-encoder (VAE) door middel van adversariële training wordt verfijnd voor detailverbetering. Deze aanpak helpt CCSR om de stochastiek geassocieerd met diffusie prior-gebaseerde SR-methoden aanzienlijk te verminderen, waardoor de inhoudelijke consistentie in SR-uitkomsten wordt verbeterd en het beeldgeneratieproces wordt versneld.

3. Hoe ComfyUI CCSR te gebruiken voor beeldopschaling

3.1. CCSR Modellen

real-world_ccsr.ckpt: CCSR-model voor beeldrestauratie in de echte wereld.

bicubic_ccsr.ckpt: CCSR-model voor bicubische beeldrestauratie.

3.2. Belangrijke Parameters in CCSR

-scale_by: Deze parameter specificeert de superresolutieschaal en bepaalt hoeveel de invoerafbeeldingen of -video's worden vergroot.

-steps: Verwijst naar het aantal stappen in het diffusieproces. Het bepaalt hoeveel iteraties het model doorloopt om de beelddetails en structuren te verfijnen.

-t_max en -t_min: Deze parameters stellen de maximale en minimale drempels in voor de niet-uniforme tijdstap leermethode die in het CCSR-model wordt gebruikt.

-sampling_method:

• CCSR (Normal, Untiled): Deze aanpak maakt gebruik van een normale, niet-geverfde bemonsteringsmethode. Het is eenvoudig en verdeelt de afbeelding niet in tegels voor verwerking. Hoewel dit effectief kan zijn voor het waarborgen van inhoudelijke consistentie over de gehele afbeelding, vergt het ook veel VRAM-gebruik. Deze methode is het beste geschikt voor scenario's waarin VRAM in overvloed is en de hoogst mogelijke consistentie over de afbeelding vereist is.
• CCSR_Tiled_MixDiff: Deze betegelde aanpak verwerkt elke tegel van de afbeelding afzonderlijk, wat helpt bij het efficiënter beheren van VRAM-gebruik door niet te vereisen dat de gehele afbeelding tegelijkertijd in het geheugen is. Een opmerkelijk nadeel is echter de mogelijkheid van zichtbare naden waar tegels samenkomen, aangezien elke tegel onafhankelijk wordt verwerkt, wat kan leiden tot mogelijke inconsistenties aan de randen van de tegels.
• CCSR_Tiled_VAE_Gaussian_Weights: Deze methode probeert het naadprobleem dat wordt gezien in de CCSR_Tiled_MixDiff-aanpak te verhelpen door gebruik te maken van Gaussiaanse gewichten om de tegels soepeler te mengen. Dit kan de zichtbaarheid van naden aanzienlijk verminderen en zorgt voor een meer consistente uitstraling over de tegelranden. Dit mengen kan echter soms minder nauwkeurig zijn en extra ruis in de super-resolved afbeelding introduceren, wat de algehele beeldkwaliteit kan beïnvloeden.

-tile_size, en -tile_stride: Deze parameters maken deel uit van de betegelde diffusiefunctie, die is geïntegreerd in CCSR om GPU-geheugen te besparen tijdens inferentie. Tegelen verwijst naar het verwerken van de afbeelding in patches in plaats van geheel, wat geheugen-efficiënter kan zijn. -tile_size specificeert de grootte van elke tegel, en -tile_diffusion_stride regelt de stap of overlap tussen tegels.

-color_fix_type: Deze parameter geeft de methode aan die wordt gebruikt voor kleurcorrectie of aanpassing in het superresolutieproces. adain is een van de methoden die worden gebruikt voor kleurcorrectie om ervoor te zorgen dat de kleuren in de super-resolved afbeelding zo dicht mogelijk bij het origineel komen.

4. Meer Details over CCSR

Beeld superresolutie, gericht op het herstellen van hoge resolutie (HR) afbeeldingen van lage resolutie (LR) tegenhangers, adresseert de uitdaging die wordt veroorzaakt door kwaliteitsdegradatie tijdens beeldopname. Hoewel bestaande op deep learning gebaseerde SR-technieken zich voornamelijk hebben gericht op optimalisatie van neurale netwerkarchitecturen tegen eenvoudige, bekende degradaties, schieten ze tekort bij het omgaan met de complexe degradaties die worden aangetroffen in real-world scenario's. Recente vooruitgangen omvatten de ontwikkeling van datasets en methoden die complexere beelddegradaties simuleren om deze real-world uitdagingen beter te benaderen.

De studie benadrukt ook de beperkingen van traditionele verliesfuncties, zoals ℓ1 en MSE, die de neiging hebben om overdreven gladde details in SR-uitkomsten te produceren. Hoewel SSIM-verlies en perceptueel verlies dit probleem tot op zekere hoogte verzachten, blijft het bereiken van realistische beelddetails een uitdaging. GANs zijn naar voren gekomen als een succesvolle aanpak voor het verbeteren van beelddetails, maar hun toepassing op natuurlijke afbeeldingen resulteert vaak in visuele artefacten vanwege de diverse aard van natuurlijke scènes.

Denoising Diffusion Probabilistic Models (DDPMs) en hun varianten hebben aanzienlijke beloften getoond en presteren beter dan GANs in het genereren van diverse en hoogwaardige priors voor beeldrestauratie, inclusief SR. Deze modellen hebben echter moeite gehad om zich aan te passen aan de complexe en gevarieerde degradaties die aanwezig zijn in real-world toepassingen.

De CCSR-aanpak streeft ernaar deze uitdagingen aan te pakken door stabiele en consistente superresolutie-uitkomsten te waarborgen. Het maakt gebruik van diffusie priors voor het genereren van coherente structuren en past generatieve adversariële training toe voor detail- en textuurverbetering. Door een niet-uniforme tijdstap bemonsteringsstrategie aan te nemen en een voorgetrainde VAE-decoder fijn af te stemmen, bereikt CCSR stabiele, inhoudelijk consistente SR-resultaten efficiënter dan bestaande diffusie prior-gebaseerde SR-methoden.

Voor meer informatie, bekijk het op de github of paper