Segment Anything V2, noto anche come SAM2, è un modello di intelligenza artificiale rivoluzionario sviluppato da Meta AI che rivoluziona la segmentazione degli oggetti sia in immagini che in video.
Segment Anything V2 è un modello di intelligenza artificiale all'avanguardia che consente la segmentazione senza soluzione di continuità degli oggetti in immagini e video. È il primo modello unificato in grado di gestire compiti di segmentazione sia di immagini che di video con eccezionale accuratezza ed efficienza. Segment Anything V2 (SAM2) si basa sul successo del suo predecessore, il Segment Anything Model (SAM), estendendo le sue capacità di prompt ai video.
Con Segment Anything V2 (SAM2), gli utenti possono selezionare un oggetto in un'immagine o in un fotogramma video utilizzando vari metodi di input, come un clic, un riquadro di delimitazione o una maschera. Il modello segmenta quindi intelligentemente l'oggetto selezionato, consentendo l'estrazione e la manipolazione precise di elementi specifici all'interno del contenuto visivo.
SAM2 estende la capacità di prompt di SAM ai video introducendo un modulo di memoria per sessione che cattura le informazioni sull'oggetto target, consentendo il tracciamento degli oggetti attraverso i fotogrammi, anche con scomparse temporanee. L'architettura di streaming elabora i fotogrammi video uno alla volta, comportandosi come SAM per le immagini quando il modulo di memoria è vuoto. Questo consente l'elaborazione video in tempo reale e la generalizzazione naturale delle capacità di SAM. SAM2 supporta anche le correzioni interattive della previsione della maschera basate sui prompt dell'utente. Il modello utilizza un'architettura a trasformatori con memoria di streaming ed è addestrato sul dataset SA-V, il più grande dataset di segmentazione video raccolto utilizzando un motore di dati model-in-the-loop che migliora sia il modello che i dati attraverso l'interazione dell'utente.
Questo flusso di lavoro ComfyUI supporta la selezione di un oggetto in un fotogramma video utilizzando un clic/punto.
Caricamento Video: Seleziona e carica il video che desideri elaborare.
Punto chiave: Posiziona tre punti chiave sulla tela—positive0, positive1 e negative0:
positive0 e positive1 segnano le regioni o gli oggetti che vuoi segmentare.
negative0 aiuta a escludere aree indesiderate o distrazioni.
points_store: Ti permette di aggiungere o rimuovere punti secondo necessità per affinare il processo di segmentazione.
Opzioni del Modello: Scegli tra i modelli SAM2 disponibili: tiny, small, large o base_plus. I modelli più grandi forniscono risultati migliori ma richiedono più tempo di caricamento.
Per ulteriori informazioni, visita Kijai ComfyUI-segment-anything-2.
RunComfy è la piattaforma principale ComfyUI che offre ComfyUI online ambiente e servizi, insieme a workflow di ComfyUI con visuali mozzafiato. RunComfy offre anche AI Playground, consentire agli artisti di sfruttare gli ultimi strumenti di AI per creare arte incredibile.
