Segment Anything V2 (SAM2) | Segmentasi Video

Segment Anything V2, juga dikenal sebagai SAM2, adalah model AI revolusioner yang dikembangkan oleh Meta AI yang merevolusi segmentasi objek dalam gambar dan video.

Apa itu Segment Anything V2 (SAM2)?

Segment Anything V2 adalah model AI mutakhir yang memungkinkan segmentasi objek yang mulus di seluruh gambar dan video. Ini adalah model terpadu pertama yang mampu menangani tugas segmentasi gambar dan video dengan akurasi dan efisiensi yang luar biasa. Segment Anything V2 (SAM2) dibangun di atas kesuksesan pendahulunya, Segment Anything Model (SAM), dengan memperluas kemampuan promptable-nya ke domain video.

Dengan Segment Anything V2 (SAM2), pengguna dapat memilih objek dalam gambar atau bingkai video menggunakan berbagai metode input, seperti klik, kotak pembatas, atau masker. Model ini kemudian secara cerdas mengsegmentasi objek yang dipilih, memungkinkan ekstraksi dan manipulasi elemen spesifik dalam konten visual dengan presisi.

Sorotan Segment Anything V2 (SAM2)

1. Kinerja Mutakhir: SAM2 mengungguli model yang ada di bidang segmentasi objek untuk gambar dan video. Ini menetapkan tolok ukur baru untuk akurasi dan presisi, melampaui kinerja pendahulunya, SAM, dalam tugas segmentasi gambar.
2. Model Terpadu untuk Gambar dan Video: SAM2 adalah model pertama yang menyediakan solusi terpadu untuk segmentasi objek di gambar dan video. Integrasi ini menyederhanakan alur kerja bagi seniman AI, karena mereka dapat menggunakan satu model untuk berbagai tugas segmentasi.
3. Kemampuan Segmentasi Video yang Ditingkatkan: SAM2 unggul dalam segmentasi objek video, terutama dalam melacak bagian objek. Ini mengungguli model segmentasi video yang ada, menawarkan peningkatan akurasi dan konsistensi dalam segmentasi objek di seluruh bingkai.
4. Sorotan Segment A. Waktu Interaksi yang Berkurang: Dibandingkan dengan metode segmentasi video interaktif yang ada, SAM2 membutuhkan waktu interaksi yang lebih sedikit dari pengguna. Efisiensi ini memungkinkan seniman AI untuk lebih fokus pada visi kreatif mereka dan menghabiskan lebih sedikit waktu pada tugas segmentasi manual.
5. Desain Sederhana dan Inferensi Cepat: Meskipun memiliki kemampuan canggih, SAM2 mempertahankan desain arsitektur yang sederhana dan menawarkan kecepatan inferensi yang cepat. Ini memastikan bahwa seniman AI dapat mengintegrasikan SAM2 ke dalam alur kerja mereka dengan lancar tanpa mengorbankan kinerja atau efisiensi.

Cara Kerja Segment Anything V2 (SAM2)

SAM2 memperluas kemampuan promptable SAM ke video dengan memperkenalkan modul memori per-sesi yang menangkap informasi objek target, memungkinkan pelacakan objek di seluruh bingkai, bahkan dengan hilangnya sementara. Arsitektur streaming memproses bingkai video satu per satu, berperilaku seperti SAM untuk gambar saat modul memori kosong. Ini memungkinkan pemrosesan video real-time dan generalisasi alami kemampuan SAM. SAM2 juga mendukung koreksi prediksi masker interaktif berdasarkan prompt pengguna. Model ini menggunakan arsitektur transformer dengan memori streaming dan dilatih pada dataset SA-V, dataset segmentasi video terbesar yang dikumpulkan menggunakan mesin data model-in-the-loop yang meningkatkan baik model maupun data melalui interaksi pengguna.

Cara menggunakan Segment Anything V2 (SAM2) di ComfyUI

Alur kerja ComfyUI ini mendukung pemilihan objek dalam bingkai video menggunakan klik/titik.

1. Muat Video (Unggah)

Memuat Video: Pilih dan unggah video yang ingin Anda proses.

2. Editor Titik

titik kunci: Tempatkan tiga titik kunci di kanvas—positive0, positive1, dan negative0:

positive0 dan positive1 menandai wilayah atau objek yang ingin Anda segmentasi.

negative0 membantu mengecualikan area yang tidak diinginkan atau gangguan.

points_store: Memungkinkan Anda menambah atau menghapus titik sesuai kebutuhan untuk memperbaiki proses segmentasi.

3. Pemilihan Model SAM2

Opsi Model: Pilih dari model SAM2 yang tersedia: tiny, small, large, atau base_plus. Model yang lebih besar memberikan hasil yang lebih baik tetapi memerlukan waktu pemuatan lebih lama.

Untuk informasi lebih lanjut, silakan kunjungi .