Mochi Edit Suréchantillonnage | Vidéo-à-Vidéo

Les nœuds et leur flux de travail associé sont entièrement développés par logtd et Kijai. Nous donnons tout le crédit dû à logtd et Kijai pour ce travail innovant. Sur la plateforme RunComfy, nous présentons simplement leurs contributions à la communauté. Nous apprécions profondément le travail de logtd et Kijai!

Le flux de travail Mochi Edit est un outil conçu pour permettre aux utilisateurs de modifier le contenu vidéo en utilisant des invites textuelles. Il prend en charge des tâches telles que l'ajout ou la modification d'éléments (par exemple, placer des chapeaux sur des personnages), ajuster le style global ou remplacer des sujets dans les séquences.

1. Mochi Edit Suréchantillonnage

Au cœur de Mochi Edit se trouve sa technique de suréchantillonnage. La technique de suréchantillonnage de Mochi Edit exploite une approche simplifiée de l'édition de vidéos et d'images, permettant des transformations grâce à des invites multimodales sans nécessiter d'étapes de prétraitement supplémentaires ou de modules réseau externes. L'idée centrale derrière le suréchantillonnage de Mochi Edit est de manipuler directement la représentation latente de la vidéo, plutôt que de réaliser des opérations complexes comme la détection de visage ou l'estimation de pose, qui sont courantes dans les pipelines de génération d'images traditionnels. Cette méthode s'aligne sur l'objectif plus large de créer un processus de génération d'images plus flexible et rationalisé, semblable à la capacité de GPT à générer du texte à partir de n'importe quelle invite. Grâce à la technique de suréchantillonnage de Mochi Edit, les utilisateurs peuvent générer divers styles et modifications directement à partir d'une description multimodale, rendant le processus beaucoup plus intuitif et efficace.

En bref, Mochi Edit vous permet de créer de petites variations de la vidéo que vous téléchargez. Comme copier et traduire le mouvement du sujet à un autre sujet ou changer les paramètres d'arrière-plan, changer les propriétés du sujet..etc

2. Comment utiliser le flux de travail Mochi Edit?

Dans ce flux de travail, les nœuds verts à gauche sont les entrées pour la vidéo et le texte, les nœuds violets au milieu sont les nœuds de suréchantillonnage et d'échantillonnage de mochi, et le bleu à droite est le nœud de sortie vidéo.

2.1 Charger le nœud vidéo

• Cliquez et téléchargez votre vidéo dans le nœud de chargement vidéo
• frame_load_cap: est par défaut à 32 images. Au-dessus de 32 images, des artefacts de saut sont observés. Gardez sous 3 secondes (32) images pour de meilleurs résultats.
• skip_frames: Ignorez les images si vous souhaitez commencer à partir d'une image spécifique

Utilisez le format carré (512 x 512) ou horizontal (848 x 480) dans le nœud de suréchantillonnage. Les autres donnent une erreur.

2.2 Invites

Il s'agit d'une utilisation expérimentale, parfois cela peut fonctionner ou parfois non ou parfois changer complètement la vidéo originale.

• Utilisez une petite variation du sujet comme invite.
• Une variation forte peut déformer et changer complètement l'image.
• Essayez une graine différente si vous n'obtenez pas les résultats escomptés.

2.3 Groupes de nœuds d'échantillonnage et de suréchantillonnage

Les échantillonneurs de Ksampler pour l'échantillonnage et le suréchantillonnage sont réglés sur les meilleurs paramètres par l'auteur. Si les paramètres sont modifiés vaguement, cela peut donner des résultats étranges et indésirables. N'hésitez pas à expérimenter avec :

• Seed de l'échantillonneur pour les variations
• num_steps et linear_step pour modifier la qualité ou la vitesse de rendu.
• eta , start_step et end_Step pour modifier la force de suréchantillonnage, le pourcentage de début et de fin.

2.4 Modèles Mochi

Les modèles sont téléchargés depuis ce dans votre comfyui automatiquement. Cela prendra environ 5 à 10 minutes pour télécharger le modèle de 10,3 Go la première fois.

La technique de suréchantillonnage de Mochi Edit révolutionne l'édition vidéo et d'image en simplifiant le processus et en supprimant le besoin de prétraitement complexe ou de modules supplémentaires. Cette approche innovante permet aux utilisateurs de générer des visuels personnalisés de haute qualité sans effort grâce à des invites multimodales. En combinant flexibilité et accessibilité, Mochi Edit ouvre la voie à un avenir de génération d'images plus intuitif et créatif.