CCSR | Tutarlı Görüntü/Video Üst Ölçekleyici

1. ComfyUI CCSR | ComfyUI Üst Ölçek İş Akışı

Bu ComfyUI iş akışı, süper çözünürlük görevlerinde içerik tutarlılığını artırmak için tasarlanmış CCSR (Content Consistent Super-Resolution) modelini içerir. CCSR modelinin uygulanmasının ardından, gürültü ekleyerek ve ControlNet recolor modelini kullanarak bir kez daha üst ölçekleme içeren isteğe bağlı bir adım vardır. Bu, kullanıcıların keşfetmesi için deneysel bir özelliktir.

Varsayılan olarak, bu iş akışı görüntü üst ölçekleme için ayarlanmıştır. Videoları üst ölçeklemek için "load image" yerine "load video" ve "save image" yerine "combine video" değiştirin.

2. CCSR'ye Giriş

Önceden eğitilmiş latent difüzyon modelleri, görüntü süper çözünürlük (SR) sonuçlarının algısal kalitesini artırma potansiyeli ile tanınmıştır. Ancak, bu modeller farklı gürültü koşullarında aynı düşük çözünürlüklü görüntüler için değişken sonuçlar üretir. Bu değişkenlik, metinden görüntü oluşturma için avantajlı olsa da, içerik koruma tutarlılığı gerektiren SR görevleri için zorluklar teşkil eder.

Difüzyon öncelikli SR'nin güvenilirliğini artırmak için CCSR (Content Consistent Super-Resolution), görüntü yapılarını rafine etmek için difüzyon modellerini, ince detayları iyileştirmek için ise generative adversarial networks (GAN) kullanarak bir strateji uygular. Bu strateji, kompakt bir difüzyon ağı eğitmek için düzensiz zaman adımı öğrenme stratejisini tanıtır. Bu ağ, bir görüntünün ana yapılarını verimli ve istikrarlı bir şekilde yeniden oluştururken, varyasyonel oto-enkoderin (VAE) önceden eğitilmiş kod çözücüsü, detay iyileştirmesi için adversarial eğitimle ince ayar yapılır. Bu yaklaşım, difüzyon öncelikli SR yöntemleriyle ilişkili rastgeleliği önemli ölçüde azaltarak, SR çıktılarında içerik tutarlılığını artırır ve görüntü oluşturma sürecini hızlandırır.

3. ComfyUI CCSR'yi Görüntü Üst Ölçekleme İçin Nasıl Kullanılır

3.1. CCSR Modelleri

real-world_ccsr.ckpt: Gerçek dünya görüntü restorasyonu için CCSR modeli.

bicubic_ccsr.ckpt: Bikübik görüntü restorasyonu için CCSR modeli.

3.2. CCSR'deki Ana Parametreler

-scale_by: Bu parametre, süper çözünürlük ölçeğini belirler ve giriş görüntülerinin veya videolarının ne kadar büyütüleceğini belirtir.

-steps: Difüzyon sürecindeki adım sayısını ifade eder. Modelin görüntü detaylarını ve yapılarını rafine etmek için kaç iterasyon geçirdiğini kontrol eder.

-t_max ve -t_min: Bu parametreler, CCSR modelinde kullanılan düzensiz zaman adımı öğrenme stratejisi için maksimum ve minimum eşikleri belirler.

-sampling_method:

• CCSR (Normal, Untiled): Bu yaklaşım, normal, döşenmemiş bir örnekleme yöntemi kullanır. Görüntüyü işlemek için döşemelere bölmez. Bu yöntem, VRAM kullanımı açısından ağır olabilirken, görüntü boyunca en yüksek tutarlılığı sağlamak için etkilidir. Bu yöntem, VRAM'in bol olduğu ve görüntü boyunca en yüksek tutarlığın gerektiği senaryolar için en uygundur.
• CCSR_Tiled_MixDiff: Bu döşemeli yaklaşım, görüntünün her döşemesini ayrı ayrı işler, bu da tüm görüntünün bellekte olmasını gerektirmeyerek VRAM kullanımını daha verimli bir şekilde yönetmeye yardımcı olur. Ancak, döşemeler bağımsız olarak işlendiğinden, döşeme sınırlarında olası tutarsızlıklar nedeniyle görülebilir dikişler oluşabilir.
• CCSR_Tiled_VAE_Gaussian_Weights: Bu yöntem, CCSR_Tiled_MixDiff yaklaşımında görülen dikiş sorununu Gaussian ağırlıkları kullanarak döşemeleri daha düzgün bir şekilde harmanlayarak çözmeyi amaçlar. Bu, dikişlerin görünürlüğünü önemli ölçüde azaltarak döşeme sınırlarında daha tutarlı bir görünüm sağlar. Ancak, bu harmanlama bazen daha az doğru olabilir ve süper çözünürlüklü görüntüye ekstra gürültü ekleyerek genel görüntü kalitesini etkileyebilir.

-tile_size, ve -tile_stride: Bu parametreler, CCSR'ye entegre edilmiş döşemeli difüzyon özelliğinin bir parçasıdır ve çıkarım sırasında GPU belleğini korur. Döşeme, görüntüyü bütün yerine yamalar halinde işlemeyi ifade eder, bu da daha bellek verimli olabilir. -tile_size, her döşemenin boyutunu belirtir ve -tile_diffusion_stride, döşemeler arasındaki adım veya örtüşmeyi kontrol eder.

-color_fix_type: Bu parametre, süper çözünürlük sürecinde renk düzeltme veya ayarlama için kullanılan yöntemi belirtir. adain, süper çözünürlüklü görüntüdeki renklerin orijinal görüntüye olabildiğince yakın olmasını sağlamak için kullanılan renk düzeltme yöntemlerinden biridir.

4. CCSR Hakkında Daha Fazla Detay

Düşük çözünürlüklü (LR) görüntülerden yüksek çözünürlüklü (HR) görüntüler elde etmeyi amaçlayan görüntü süper çözünürlük, görüntü yakalama sırasında meydana gelen kalite düşüşü sorununu ele alır. Mevcut derin öğrenme tabanlı SR teknikleri, basit ve bilinen bozulmalara karşı sinir ağı mimarisi optimizasyonuna odaklanmış olsa da, gerçek dünya senaryolarında karşılaşılan karmaşık bozulmaları ele almakta yetersiz kalır. Son gelişmeler, bu gerçek dünya zorluklarını yaklaştırmak için daha karmaşık görüntü bozulmalarını simüle eden veri setleri ve yöntemlerin geliştirilmesini içermektedir.

Çalışma ayrıca, ℓ1 ve MSE gibi geleneksel kayıp fonksiyonlarının SR çıktılarında aşırı düz detaylar üretme eğilimindeki sınırlamalarını vurgular. SSIM kaybı ve algısal kayıp bu sorunu bir ölçüde hafifletse de, gerçekçi görüntü detayı elde etmek zordur. GAN'ler, görüntü detaylarını artırmak için başarılı bir yaklaşım olarak ortaya çıkmıştır, ancak doğal görüntülere uygulanmaları, doğal sahnelerin çeşitli doğası nedeniyle görsel artefaktlara neden olabilir.

Denoising Diffusion Probabilistic Models (DDPMs) ve varyantları, SR dahil olmak üzere görüntü restorasyonu için çeşitli ve yüksek kaliteli öncelikler üretmede GAN'leri geride bırakarak önemli bir başarı göstermiştir. Ancak, bu modeller, gerçek dünya uygulamalarında mevcut olan karmaşık ve çeşitli bozulmalara uyum sağlamakta zorlanmıştır.

CCSR yaklaşımı, bu zorlukları ele alarak istikrarlı ve tutarlı süper çözünürlük sonuçları sağlamayı amaçlar. Difüzyon önceliklerini kullanarak uyumlu yapılar üretir ve detay ve doku iyileştirmesi için generative adversarial training kullanır. Düzensiz zaman adımı örnekleme stratejisini benimseyerek ve önceden eğitilmiş bir VAE kod çözücüsünü ince ayar yaparak, CCSR, mevcut difüzyon öncelikli SR yöntemlerinden daha verimli bir şekilde tutarlı, içerik tutarlılığı sağlayan SR sonuçları elde eder.

Daha fazla bilgi için, github veya paper adreslerine bakabilirsiniz.