Segment Anything V2 (SAM2) | Сегментация видео

Segment Anything V2, также известная как SAM2, является революционной моделью ИИ, разработанной Meta AI, которая революционизирует сегментацию объектов как на изображениях, так и на видео.

Что такое Segment Anything V2 (SAM2)?

Segment Anything V2 - это передовая модель ИИ, которая позволяет бесшовно сегментировать объекты на изображениях и видео. Это первая унифицированная модель, способная обрабатывать задачи сегментации как изображений, так и видео с исключительной точностью и эффективностью. Segment Anything V2 (SAM2) основывается на успехе своей предшественницы, Segment Anything Model (SAM), расширяя ее возможности подсказок на видео.

С Segment Anything V2 (SAM2) пользователи могут выбирать объект на изображении или кадре видео с помощью различных методов ввода, таких как клик, ограничивающая рамка или маска. Модель затем интеллектуально сегментирует выбранный объект, позволяя точно извлекать и манипулировать конкретными элементами в визуальном контенте.

Основные особенности Segment Anything V2 (SAM2)

1. Передовая производительность: SAM2 превосходит существующие модели в области сегментации объектов как на изображениях, так и на видео. Она устанавливает новый стандарт точности и прецизионности, превосходя производительность своей предшественницы SAM в задачах сегментации изображений.
2. Унифицированная модель для изображений и видео: SAM2 является первой моделью, предоставляющей унифицированное решение для сегментации объектов как на изображениях, так и на видео. Эта интеграция упрощает рабочий процесс для AI-художников, так как они могут использовать одну модель для различных задач сегментации.
3. Улучшенные возможности сегментации видео: SAM2 превосходит в сегментации объектов на видео, особенно в отслеживании частей объектов. Она превосходит существующие модели сегментации видео, предлагая улучшенную точность и согласованность в сегментации объектов по кадрам.
4. Сокращенное время взаимодействия: По сравнению с существующими методами интерактивной сегментации видео, SAM2 требует меньше времени взаимодействия от пользователей. Эта эффективность позволяет AI-художникам больше сосредотачиваться на своем творческом видении и тратить меньше времени на ручные задачи сегментации.
5. Простой дизайн и высокая скорость вывода: Несмотря на свои передовые возможности, SAM2 сохраняет простой архитектурный дизайн и предлагает высокие скорости вывода. Это гарантирует, что AI-художники могут бесшовно интегрировать SAM2 в свои рабочие процессы без компромиссов по производительности или эффективности.

Как работает Segment Anything V2 (SAM2)

SAM2 расширяет возможности SAM на видео, вводя модуль памяти на сессию, который захватывает информацию о целевом объекте, позволяя отслеживать объект по кадрам, даже при временных исчезновениях. Потоковая архитектура обрабатывает видео кадры по одному, ведя себя как SAM для изображений, когда модуль памяти пуст. Это позволяет обрабатывать видео в реальном времени и естественно обобщать возможности SAM. SAM2 также поддерживает интерактивные коррекции предсказания масок на основе подсказок пользователя. Модель использует архитектуру трансформера с потоковой памятью и обучена на наборе данных SA-V, крупнейшем наборе данных сегментации видео, собранном с использованием модели в цикле данных, которая улучшает как модель, так и данные через взаимодействие с пользователем.

Как использовать Segment Anything V2 (SAM2) в ComfyUI

Этот рабочий процесс ComfyUI поддерживает выбор объекта на кадре видео с помощью клика/точки.

1. Загрузка видео

Загрузка видео: Выберите и загрузите видео, которое вы хотите обработать.

2. Редактор точек

Ключевая точка: Поместите три ключевые точки на холст — positive0, positive1 и negative0:

positive0 и positive1 отмечают области или объекты, которые вы хотите сегментировать.

negative0 помогает исключить нежелательные области или отвлекающие элементы.

points_store: Позволяет добавлять или удалять точки по мере необходимости для уточнения процесса сегментации.

3. Выбор модели SAM2

Варианты моделей: Выберите из доступных моделей SAM2: tiny, small, large или base_plus. Более крупные модели предоставляют лучшие результаты, но требуют больше времени на загрузку.

Для получения дополнительной информации посетите .