Mochi Edit UnSampling | Video-a-Video

I nodi e il relativo flusso di lavoro sono stati completamente sviluppati da logtd e Kijai. Diamo tutto il dovuto credito a logtd e Kijai per questo lavoro innovativo. Sulla piattaforma RunComfy, stiamo semplicemente presentando i loro contributi alla comunità. Apprezziamo profondamente il lavoro di logtd e Kijai!

Il flusso di lavoro Mochi Edit è uno strumento progettato per consentire agli utenti di modificare contenuti video utilizzando prompt basati su testo. Supporta compiti come aggiungere o modificare elementi (ad esempio, posizionare cappelli sui personaggi), regolare lo stile generale o sostituire soggetti all'interno del filmato.

1. Mochi Edit Unsampling

Al centro di Mochi Edit c'è la sua tecnica di unsampling. La tecnica di unsampling di Mochi Edit sfrutta un approccio semplificato per l'editing di video e immagini, consentendo trasformazioni attraverso prompt multi-modali senza richiedere passaggi di preprocessing aggiuntivi o moduli di rete esterni. L'idea centrale dell'unsampling di Mochi Edit è manipolare direttamente la rappresentazione latente del video, piuttosto che eseguire operazioni complesse come il rilevamento del volto o la stima della posa, comuni nelle pipeline di generazione di immagini tradizionali. Questo metodo è allineato con l'obiettivo più ampio di creare un processo di generazione di immagini più flessibile e snello, simile alla capacità di GPT di generare testo da qualsiasi prompt di input. Con la tecnica di unsampling di Mochi Edit, gli utenti possono generare vari stili e modifiche direttamente da una descrizione multi-modale, rendendo il processo molto più intuitivo ed efficiente.

In sintesi, Mochi Edit ti consente di creare piccole variazioni del video che carichi. Come copiare e tradurre il movimento del soggetto su un altro soggetto o cambiare impostazioni di sfondo, cambiare proprietà del soggetto..ecc.

2. Come Usare il Flusso di Lavoro Mochi Edit?

In questo flusso di lavoro, i nodi Verdi a Sinistra sono gli input per Video e testo, i nodi Viola al Centro sono i nodi unsampler e sampler mochi, e il Blu a Destra è il nodo di output video.

2.1 Carica Nodo Video

• Clicca e Carica il tuo video nel nodo di caricamento video
• frame_load_cap: è impostato di default su 32 fotogrammi. Sopra i 32 fotogrammi, si osservano artefatti di salto. Mantieni sotto i 3 secondi (32) fotogrammi per i migliori risultati.
• skip_frames: Salta fotogrammi se vuoi iniziare da un fotogramma specifico

Usa il Formato Quadrato (512 x 512) o Orizzontale (848 x 480) nella dimensione di upscale. Altri danno errore.

2.2 Prompt

Questo è un uso sperimentale, a volte può funzionare o a volte no o a volte cambiare completamente il video originale.

• Usa una piccola variazione del soggetto come prompt.
• Una Variazione Forte può distorcere e cambiare completamente l'immagine.
• Prova un seme diverso se non ottieni risultati corretti.

2.3 Gruppi di Nodi di Sampling e Unsampling

I Ksampler di Sampling e Unsampling sono impostati sulle migliori impostazioni dall'autore. Se le impostazioni vengono modificate vagamente, possono risultare in risultati strani e indesiderabili. Sentiti libero di giocare con:

• Seed del Sampler per variazioni
• num_steps e linear_step per Cambiare la qualità o la velocità di rendering.
• eta, start_step e end_Step per cambiare la forza di unsampling, percentuale di inizio e fine.

2.4 Modelli Mochi

I modelli sono scaricati da questo nel tuo comfyui Automaticamente. Ci vorranno circa 5-10 minuti la prima volta per scaricare il modello da 10.3 GB.

La tecnica di unsampling di Mochi Edit rivoluziona l'editing video e immagine semplificando il processo e rimuovendo la necessità di preprocessamenti complessi o moduli aggiuntivi. Questo approccio innovativo consente agli utenti di generare visuali personalizzate di alta qualità senza sforzo attraverso prompt multi-modali. Combinando flessibilità e accessibilità, Mochi Edit apre la strada a un futuro di generazione di immagini più intuitivo e creativo.