Segment Anything V2 (SAM2) | Videosegmentatie

Segment Anything V2, ook bekend als SAM2, is een baanbrekend AI-model ontwikkeld door Meta AI dat objectsegmentatie in zowel afbeeldingen als video's revolutioneert.

Wat is Segment Anything V2 (SAM2)?

Segment Anything V2 is een state-of-the-art AI-model dat naadloze segmentatie van objecten in afbeeldingen en video's mogelijk maakt. Het is het eerste uniforme model dat zowel afbeeldings- als videosegmentatietaken met uitzonderlijke nauwkeurigheid en efficiëntie aankan. Segment Anything V2 (SAM2) bouwt voort op het succes van zijn voorganger, het Segment Anything Model (SAM), door zijn promptable mogelijkheden uit te breiden naar het videodomein.

Met Segment Anything V2 (SAM2) kunnen gebruikers een object in een afbeelding of videoframe selecteren met verschillende invoermethoden, zoals een klik, een begrenzingsvak of een masker. Het model segmenteert vervolgens intelligent het geselecteerde object, waardoor nauwkeurige extractie en manipulatie van specifieke elementen binnen de visuele inhoud mogelijk wordt.

Hoogtepunten van Segment Anything V2 (SAM2)

1. State-of-the-Art Prestaties: SAM2 overtreft bestaande modellen op het gebied van objectsegmentatie voor zowel afbeeldingen als video's. Het zet een nieuwe standaard voor nauwkeurigheid en precisie, waarmee het de prestaties van zijn voorganger, SAM, in afbeeldingssegmentatietaken overtreft.
2. Uniform Model voor Afbeeldingen en Video's: SAM2 is het eerste model dat een uniforme oplossing biedt voor het segmenteren van objecten in zowel afbeeldingen als video's. Deze integratie vereenvoudigt de workflow voor AI-kunstenaars, omdat ze een enkel model kunnen gebruiken voor verschillende segmentatietaken.
3. Verbeterde Videosegmentatiemogelijkheden: SAM2 blinkt uit in video-objectsegmentatie, met name in het volgen van objectonderdelen. Het overtreft bestaande videosegmentatiemodellen en biedt verbeterde nauwkeurigheid en consistentie bij het segmenteren van objecten over frames.
4. Hoogtepunten van Segment A. Verminderde Interactietijd: In vergelijking met bestaande interactieve videosegmentatiemethoden vereist SAM2 minder interactietijd van gebruikers. Deze efficiëntie stelt AI-kunstenaars in staat zich meer te richten op hun creatieve visie en minder tijd te besteden aan handmatige segmentatietaken.
5. Eenvoudig Ontwerp en Snelle Inference: Ondanks zijn geavanceerde mogelijkheden behoudt SAM2 een eenvoudig architecturaal ontwerp en biedt snelle inferentiesnelheden. Dit zorgt ervoor dat AI-kunstenaars SAM2 naadloos in hun workflows kunnen integreren zonder concessies te doen aan prestaties of efficiëntie.

Hoe Segment Anything V2 (SAM2) Werkt

SAM2 breidt SAM's promptable mogelijkheid uit naar video's door een per-sessie geheugenmodule te introduceren die informatie over doelobjecten vastlegt, waardoor objecttracking over frames mogelijk wordt, zelfs bij tijdelijke verdwijningen. De streamingarchitectuur verwerkt videoframes één voor één en gedraagt zich als SAM voor afbeeldingen wanneer de geheugenmodule leeg is. Dit maakt real-time videoprocessing en natuurlijke generalisatie van SAM's mogelijkheden mogelijk. SAM2 ondersteunt ook interactieve maskerpredictiecorrecties op basis van gebruikersprompts. Het model maakt gebruik van een transformerarchitectuur met streaminggeheugen en is getraind op de SA-V dataset, de grootste videosegmentatiedataset die is verzameld met behulp van een model-in-the-loop data-engine die zowel het model als de data verbetert door gebruikersinteractie.

Hoe Segment Anything V2 (SAM2) te gebruiken in ComfyUI

Deze ComfyUI-workflow ondersteunt het selecteren van een object in een videoframe met een klik/punt.

1. Video Laden (Uploaden)

Video Laden: Selecteer en upload de video die u wilt verwerken.

2. Punteneditor

Belangrijk Punt: Plaats drie belangrijke punten op het canvas—positive0, positive1, en negative0:

positive0 en positive1 markeren de gebieden of objecten die u wilt segmenteren.

negative0 helpt ongewenste gebieden of afleidingen uit te sluiten.

points_store: Hiermee kunt u punten toevoegen of verwijderen zoals nodig om het segmentatieproces te verfijnen.

3. Modelselectie van SAM2

Modelopties: Kies uit beschikbare SAM2-modellen: tiny, small, large, of base_plus. Grotere modellen bieden betere resultaten maar vereisen meer laadtijd.

Voor meer informatie, bezoek .