Segment Anything V2 (SAM2) | การแบ่งส่วนวิดีโอ

Segment Anything V2, หรือที่รู้จักกันในชื่อ SAM2, เป็นโมเดล AI ที่ก้าวล้ำพัฒนาโดย Meta AI ที่ปฏิวัติการแบ่งส่วนวัตถุในทั้งภาพและวิดีโอ

Segment Anything V2 (SAM2) คืออะไร?

Segment Anything V2 เป็นโมเดล AI ที่ทันสมัยที่ทำให้การแบ่งส่วนวัตถุในทั้งภาพและวิดีโอเป็นไปอย่างราบรื่น มันเป็นโมเดลแรกที่สามารถจัดการกับงานการแบ่งส่วนภาพและวิดีโอได้ด้วยความแม่นยำและประสิทธิภาพที่ยอดเยี่ยม Segment Anything V2 (SAM2) สร้างขึ้นจากความสำเร็จของโมเดลก่อนหน้านี้, Segment Anything Model (SAM), โดยขยายความสามารถการป้อนคำสั่งไปยังโดเมนวิดีโอ

ด้วย Segment Anything V2 (SAM2), ผู้ใช้สามารถเลือกวัตถุในภาพหรือเฟรมวิดีโอโดยใช้วิธีการป้อนข้อมูลที่หลากหลาย เช่น การคลิก, กล่องขอบเขต, หรือหน้ากาก โมเดลจะทำการแบ่งส่วนวัตถุที่เลือกอย่างอัจฉริยะ ทำให้สามารถสกัดและจัดการองค์ประกอบเฉพาะในเนื้อหาภาพได้อย่างแม่นยำ

ไฮไลท์ของ Segment Anything V2 (SAM2)

1. ประสิทธิภาพที่ทันสมัย: SAM2 ทำงานได้ดีกว่าโมเดลที่มีอยู่ในด้านการแบ่งส่วนวัตถุในทั้งภาพและวิดีโอ มันตั้งมาตรฐานใหม่สำหรับความแม่นยำและความละเอียด ล้ำหน้ากว่าโมเดลก่อนหน้านี้, SAM, ในงานการแบ่งส่วนภาพ
2. โมเดลที่รวมสำหรับภาพและวิดีโอ: SAM2 เป็นโมเดลแรกที่ให้โซลูชันที่รวมสำหรับการแบ่งส่วนวัตถุในทั้งภาพและวิดีโอ การรวมนี้ทำให้เวิร์กโฟลว์ของศิลปิน AI ง่ายขึ้น เพราะพวกเขาสามารถใช้โมเดลเดียวสำหรับงานการแบ่งส่วนที่หลากหลาย
3. ความสามารถในการแบ่งส่วนวิดีโอที่เพิ่มขึ้น: SAM2 เก่งในการแบ่งส่วนวัตถุในวิดีโอ โดยเฉพาะในด้านการติดตามชิ้นส่วนของวัตถุ มันทำงานได้ดีกว่าโมเดลการแบ่งส่วนวิดีโอที่มีอยู่ โดยมอบความแม่นยำและความสม่ำเสมอที่ดีขึ้นในการแบ่งส่วนวัตถุข้ามเฟรม
4. ลดเวลาในการโต้ตอบ: เมื่อเทียบกับวิธีการแบ่งส่วนวิดีโอที่มีการโต้ตอบอื่น ๆ, SAM2 ต้องการเวลาในการโต้ตอบจากผู้ใช้ที่น้อยลง ประสิทธิภาพนี้ทำให้ศิลปิน AI สามารถมุ่งเน้นไปที่วิสัยทัศน์การสร้างสรรค์ของพวกเขามากขึ้นและใช้เวลาน้อยลงในการทำงานแบ่งส่วนด้วยตนเอง
5. การออกแบบที่เรียบง่ายและการประมวลผลที่รวดเร็ว: แม้จะมีความสามารถที่ก้าวหน้า แต่ SAM2 ยังรักษาการออกแบบสถาปัตยกรรมที่เรียบง่ายและมีความเร็วในการประมวลผลที่รวดเร็ว สิ่งนี้ทำให้ศิลปิน AI สามารถรวม SAM2 เข้ากับเวิร์กโฟลว์ของพวกเขาได้อย่างราบรื่นโดยไม่ต้องลดทอนประสิทธิภาพหรือประสิทธิผล

วิธีการทำงานของ Segment Anything V2 (SAM2)

SAM2 ขยายความสามารถการป้อนคำสั่งของ SAM ไปยังวิดีโอโดยแนะนำโมดูลหน่วยความจำต่อเซสชันที่จับข้อมูลวัตถุเป้าหมาย ทำให้สามารถติดตามวัตถุข้ามเฟรมได้ แม้จะมีการหายไปชั่วคราว สถาปัตยกรรมการสตรีมประมวลผลเฟรมวิดีโอทีละเฟรม ทำหน้าที่เหมือน SAM สำหรับภาพเมื่อโมดูลหน่วยความจำว่างเปล่า สิ่งนี้ทำให้สามารถประมวลผลวิดีโอแบบเรียลไทม์และการสรุปความสามารถของ SAM อย่างเป็นธรรมชาติ SAM2 ยังรองรับการแก้ไขการคาดการณ์หน้ากากแบบโต้ตอบตามคำสั่งของผู้ใช้ โมเดลใช้สถาปัตยกรรม transformer ที่มีหน่วยความจำสตรีมมิ่งและฝึกอบรมบนชุดข้อมูล SA-V ซึ่งเป็นชุดข้อมูลการแบ่งส่วนวิดีโอที่ใหญ่ที่สุดที่รวบรวมโดยใช้เครื่องมือรวบรวมข้อมูลแบบโมเดลในวงที่ปรับปรุงทั้งโมเดลและข้อมูลผ่านการโต้ตอบของผู้ใช้

วิธีใช้ Segment Anything V2 (SAM2) ใน ComfyUI

เวิร์กโฟลว์ ComfyUI นี้รองรับการเลือกวัตถุในเฟรมวิดีโอโดยใช้การคลิก/จุด

1. โหลดวิดีโอ (อัปโหลด)

การโหลดวิดีโอ: เลือกและอัปโหลดวิดีโอที่คุณต้องการประมวลผล

2. ตัวแก้ไขจุด

จุดสำคัญ: วางจุดสำคัญสามจุดบนผ้าใบ—positive0, positive1, และ negative0:

positive0 และ positive1 ทำเครื่องหมายพื้นที่หรือวัตถุที่คุณต้องการแบ่งส่วน

negative0 ช่วยในการยกเว้นพื้นที่ที่ไม่ต้องการหรือสิ่งรบกวน

points_store: ช่วยให้คุณสามารถเพิ่มหรือลบจุดตามต้องการเพื่อปรับปรุงกระบวนการแบ่งส่วน

3. การเลือกโมเดลของ SAM2

ตัวเลือกโมเดล: เลือกจากโมเดล SAM2 ที่มีอยู่: tiny, small, large, หรือ base_plus โมเดลที่ใหญ่กว่าจะให้ผลลัพธ์ที่ดีกว่าแต่ต้องใช้เวลาในการโหลดมากขึ้น

สำหรับข้อมูลเพิ่มเติม กรุณาเยี่ยมชม .