Segment Anything V2 (SAM2) | Videosegmentering

Segment Anything V2, også kendt som SAM2, er en banebrydende AI-model udviklet af Meta AI, der revolutionerer objektsegmentering i både billeder og videoer.

Hvad er Segment Anything V2 (SAM2)?

Segment Anything V2 er en avanceret AI-model, der muliggør problemfri segmentering af objekter på tværs af billeder og videoer. Det er den første samlede model, der er i stand til at håndtere både billede- og videosegmenteringsopgaver med enestående nøjagtighed og effektivitet. Segment Anything V2 (SAM2) bygger videre på succesen af sin forgænger, Segment Anything Model (SAM), ved at udvide dens promptable evner til videodomænet.

Med Segment Anything V2 (SAM2) kan brugere vælge et objekt i et billede eller video frame ved hjælp af forskellige inputmetoder, såsom et klik, en afgrænsningsboks eller en maske. Modellen segmenterer derefter intelligent det valgte objekt, hvilket muliggør præcis ekstraktion og manipulation af specifikke elementer inden for det visuelle indhold.

Højdepunkter af Segment Anything V2 (SAM2)

1. State-of-the-Art Ydelse: SAM2 overgår eksisterende modeller inden for objektsegmentering for både billeder og videoer. Den sætter en ny standard for nøjagtighed og præcision, og overgår ydeevnen af sin forgænger, SAM, i billedsegmenteringsopgaver.
2. Samlet Model for Billeder og Videoer: SAM2 er den første model, der tilbyder en samlet løsning til segmentering af objekter på tværs af både billeder og videoer. Denne integration forenkler arbejdsgangen for AI-kunstnere, da de kan bruge en enkelt model til forskellige segmenteringsopgaver.
3. Forbedrede Videosegmenteringsevner: SAM2 udmærker sig i videoobjektsegmentering, især i sporing af objektdele. Den overgår eksisterende videosegmenteringsmodeller og tilbyder forbedret nøjagtighed og konsistens i segmentering af objekter på tværs af frames.
4. Reduceret Interaktionstid: Sammenlignet med eksisterende interaktive videosegmenteringsmetoder kræver SAM2 mindre interaktionstid fra brugerne. Denne effektivitet tillader AI-kunstnere at fokusere mere på deres kreative vision og bruge mindre tid på manuelle segmenteringsopgaver.
5. Enkel Design og Hurtig Inferens: På trods af sine avancerede evner opretholder SAM2 et simpelt arkitektonisk design og tilbyder hurtige inferenshastigheder. Dette sikrer, at AI-kunstnere kan integrere SAM2 i deres arbejdsgange problemfrit uden at gå på kompromis med ydeevne eller effektivitet.

Hvordan Segment Anything V2 (SAM2) Fungerer

SAM2 udvider SAM's promptable evne til videoer ved at introducere et per-session hukommelsesmodul, der fanger målobjektinformation, hvilket muliggør objektsporing på tværs af frames, selv med midlertidige forsvindinger. Den streaming arkitektur behandler video frames én ad gangen og opfører sig som SAM for billeder, når hukommelsesmodulet er tomt. Dette tillader realtids videobehandling og naturlig generalisering af SAM's evner. SAM2 understøtter også interaktive maskeprædiktion korrektioner baseret på bruger prompts. Modellen anvender en transformer arkitektur med streaming hukommelse og er trænet på SA-V datasættet, det største videosegmenteringsdatasæt indsamlet ved hjælp af en model-in-the-loop data motor, der forbedrer både modellen og data gennem brugerinteraktion.

Hvordan man bruger Segment Anything V2 (SAM2) i ComfyUI

Denne ComfyUI arbejdsgang understøtter valg af et objekt i en video frame ved hjælp af et klik/point.

1. Indlæs Video (Upload)

Video Indlæsning: Vælg og upload den video, du ønsker at behandle.

2. Points Editor

nøglepunkt: Placer tre nøglepunkter på lærredet—positive0, positive1, og negative0:

positive0 og positive1 markerer de områder eller objekter, du vil segmentere.

negative0 hjælper med at udelukke uønskede områder eller distraktioner.

points_store: Tillader dig at tilføje eller fjerne punkter efter behov for at forfine segmenteringsprocessen.

3. Modelvalg af SAM2

Modelmuligheder: Vælg mellem tilgængelige SAM2 modeller: tiny, small, large, eller base_plus. Større modeller giver bedre resultater, men kræver længere indlæsningstid.

For mere information, besøg venligst .