Segment Anything V2 (SAM2) | Video Segmentasyonu

Segment Anything V2, SAM2 olarak da bilinir, Meta AI tarafından geliştirilen ve hem görüntü hem de videolarda nesne segmentasyonunu devrim niteliğinde değiştiren bir AI modelidir.

Segment Anything V2 (SAM2) Nedir?

Segment Anything V2, görüntü ve videolar arasında nesnelerin sorunsuz segmentasyonunu mümkün kılan son teknoloji ürünü bir AI modelidir. Hem görüntü hem de video segmentasyon görevlerini olağanüstü doğruluk ve verimlilikle yerine getirebilen ilk birleşik modeldir. Segment Anything V2 (SAM2), selefi Segment Anything Modeli (SAM) başarısı üzerine inşa edilerek, video alanına da genişletilmiş isteme yetenekleri sunar.

Segment Anything V2 (SAM2) ile kullanıcılar, bir tıklama, sınırlayıcı kutu veya maske gibi çeşitli giriş yöntemleri kullanarak bir görüntü veya video karesinde bir nesneyi seçebilirler. Model, seçilen nesneyi akıllıca segmentleyerek, görsel içerikteki belirli öğelerin hassas bir şekilde çıkarılmasını ve manipüle edilmesini sağlar.

Segment Anything V2 (SAM2) Öne Çıkan Özellikler

1. Son Teknoloji Performans: SAM2, hem görüntüler hem de videolar için nesne segmentasyonu alanındaki mevcut modelleri geride bırakır. Görüntü segmentasyonu görevlerinde selefi SAM'ın performansını aşarak doğruluk ve hassasiyet için yeni bir ölçüt belirler.
2. Görüntüler ve Videolar İçin Birleşik Model: SAM2, hem görüntüler hem de videolar arasında nesneleri segmentlemek için birleşik bir çözüm sunan ilk modeldir. Bu entegrasyon, AI sanatçılarının çeşitli segmentasyon görevleri için tek bir model kullanabilmelerini sağlar.
3. Gelişmiş Video Segmentasyon Yetenekleri: SAM2, özellikle nesne parçalarını izleme konusunda video nesne segmentasyonunda mükemmeldir. Mevcut video segmentasyon modellerini geride bırakarak, kareler arasında nesneleri segmentlemede iyileştirilmiş doğruluk ve tutarlılık sunar.
4. Azaltılmış Etkileşim Süresi: Mevcut etkileşimli video segmentasyon yöntemlerine kıyasla, SAM2 kullanıcılarından daha az etkileşim süresi gerektirir. Bu verimlilik, AI sanatçılarının yaratıcı vizyonlarına daha fazla odaklanmalarını ve manuel segmentasyon görevlerine daha az zaman harcamalarını sağlar.
5. Basit Tasarım ve Hızlı Çıkarım: Gelişmiş yeteneklerine rağmen, SAM2 basit bir mimari tasarımı korur ve hızlı çıkarım hızları sunar. Bu, AI sanatçılarının SAM2'yi iş akışlarına sorunsuz bir şekilde entegre etmelerini sağlar ve performans veya verimlilikten ödün vermeden.

Segment Anything V2 (SAM2) Nasıl Çalışır

SAM2, SAM'ın isteme yeteneğini videolara genişleterek, hedef nesne bilgisini yakalayan bir oturum başına bellek modülü tanıtır ve geçici kaybolmalarla bile kareler arasında nesne takibine olanak tanır. Akış mimarisi, video karelerini birer birer işler ve bellek modülü boş olduğunda SAM gibi davranır. Bu, gerçek zamanlı video işleme ve SAM'ın yeteneklerinin doğal olarak genelleştirilmesini sağlar. SAM2 ayrıca kullanıcı istemlerine dayalı etkileşimli maske tahmin düzeltmelerini destekler. Model, bir akış belleği ile birlikte bir transformer mimarisi kullanır ve hem modeli hem de verileri kullanıcı etkileşimi yoluyla iyileştiren bir model-içinde-veri motoru kullanılarak toplanan en büyük video segmentasyon veri kümesi olan SA-V veri kümesinde eğitilmiştir.

ComfyUI'de Segment Anything V2 (SAM2) Nasıl Kullanılır

Bu ComfyUI iş akışı, bir video karesinde bir nesneyi bir tıklama/nokta kullanarak seçmeyi destekler.

1. Video Yükleme (Upload)

Video Yükleme: İşlemek istediğiniz videoyu seçin ve yükleyin.

2. Nokta Düzenleyici

Anahtar nokta: Tuval üzerine positive0, positive1 ve negative0 olmak üzere üç anahtar nokta yerleştirin:

positive0 ve positive1, segmentlemek istediğiniz bölgeleri veya nesneleri işaretler.

negative0, istenmeyen alanları veya dikkat dağıtıcı unsurları hariç tutmaya yardımcı olur.

points_store: Segmentasyon sürecini iyileştirmek için gerektiğinde noktalar eklemenizi veya çıkarmanızı sağlar.

3. SAM2 Model Seçimi

Model Seçenekleri: Kullanılabilir SAM2 modellerinden birini seçin: tiny, small, large veya base_plus. Daha büyük modeller daha iyi sonuçlar sağlar ancak daha fazla yükleme süresi gerektirir.

Daha fazla bilgi için lütfen adresini ziyaret edin.