Segment Anything V2 (SAM2) | Videosegmentering

Segment Anything V2, også kjent som SAM2, er en banebrytende AI-modell utviklet av Meta AI som revolusjonerer objektsegmentering i både bilder og videoer.

Hva er Segment Anything V2 (SAM2)?

Segment Anything V2 er en toppmoderne AI-modell som muliggjør sømløs segmentering av objekter på tvers av bilder og videoer. Det er den første enhetlige modellen som kan håndtere både bilde- og videosegmenteringsoppgaver med eksepsjonell nøyaktighet og effektivitet. Segment Anything V2 (SAM2) bygger videre på suksessen til forgjengeren, Segment Anything Model (SAM), ved å utvide sine promptbare kapasiteter til videodomene.

Med Segment Anything V2 (SAM2) kan brukere velge et objekt i et bilde eller videoklipp ved hjelp av forskjellige inndatametoder, som et klikk, en avgrensningsboks eller en maske. Modellen segmenterer deretter intelligent det valgte objektet, slik at det er mulig å nøyaktig trekke ut og manipulere spesifikke elementer innen det visuelle innholdet.

Høydepunkter av Segment Anything V2 (SAM2)

1. Toppmoderne ytelse: SAM2 overgår eksisterende modeller innen objektsegmentering for både bilder og videoer. Det setter en ny standard for nøyaktighet og presisjon, og overgår ytelsen til sin forgjenger, SAM, i bildesegmenteringsoppgaver.
2. Enhetlig modell for bilder og videoer: SAM2 er den første modellen som gir en enhetlig løsning for segmentering av objekter på tvers av både bilder og videoer. Denne integreringen forenkler arbeidsflyten for AI-kunstnere, da de kan bruke en enkelt modell for ulike segmenteringsoppgaver.
3. Forbedrede videosegmenteringskapasiteter: SAM2 utmerker seg i videoobjektsegmentering, spesielt i sporing av objektparter. Det overgår eksisterende videosegmenteringsmodeller, og tilbyr forbedret nøyaktighet og konsistens i segmentering av objekter på tvers av bilder.
4. Redusert interaksjonstid: Sammenlignet med eksisterende interaktive videosegmenteringsmetoder, krever SAM2 mindre interaksjonstid fra brukere. Denne effektiviteten lar AI-kunstnere fokusere mer på sin kreative visjon og bruke mindre tid på manuelle segmenteringsoppgaver.
5. Enkel design og rask inferens: Til tross for sine avanserte kapasiteter, opprettholder SAM2 et enkelt arkitektonisk design og tilbyr raske inferenshastigheter. Dette sikrer at AI-kunstnere kan integrere SAM2 sømløst i sine arbeidsflyter uten å gå på akkord med ytelse eller effektivitet.

Hvordan Segment Anything V2 (SAM2) fungerer

SAM2 utvider SAM's promptbare kapasitet til videoer ved å introdusere en per-økt minnemodul som fanger opp informasjon om målobjekter, og muliggjør objektsporing på tvers av bilder, selv med midlertidige forsvinninger. Den strømmende arkitekturen behandler videobilder ett om gangen, og oppfører seg som SAM for bilder når minnemodulen er tom. Dette muliggjør sanntids videobehandling og naturlig generalisering av SAM's kapasiteter. SAM2 støtter også interaktive maskeforrettelser basert på brukerprompt. Modellen benytter en transformerarkitektur med strømmende minne og er trent på SA-V datasettet, det største videosegmenteringsdatasettet samlet inn ved hjelp av en modell-i-løkken data motor som forbedrer både modellen og dataene gjennom brukerinteraksjon.

Hvordan bruke Segment Anything V2 (SAM2) i ComfyUI

Denne ComfyUI arbeidsflyten støtter valg av et objekt i en videobilde ved hjelp av et klikk/peker.

1. Last opp video (Upload)

Videolasting: Velg og last opp videoen du ønsker å behandle.

2. Points Editor

nøkkelpunkt: Plasser tre nøkkelpunkter på lerretet—positive0, positive1, og negative0:

positive0 og positive1 markerer områdene eller objektene du vil segmentere.

negative0 hjelper med å ekskludere uønskede områder eller distraksjoner.

points_store: Lar deg legge til eller fjerne punkter etter behov for å finjustere segmenteringsprosessen.

3. Modellvalg av SAM2

Modellalternativer: Velg blant tilgjengelige SAM2-modeller: tiny, small, large, eller base_plus. Større modeller gir bedre resultater, men krever mer lastetid.

For mer informasjon, vennligst besøk .