IC-Light | Rééclairage Vidéo | AnimateDiff

Workflow ComfyUI IC-Light pour le Rééclairage Vidéo

Débloquez le plein potentiel de vos projets vidéo avec le workflow ComfyUI IC-Light, conçu spécifiquement pour améliorer l'éclairage de vos vidéos de personnages "Human" en utilisant une lightmap. Avec ComfyUI IC-Light, vous pouvez facilement transformer vos vidéos en fournissant simplement vos invites et éléments de lightmap, tels que des formes et des lumières néon. L'outil créera une nouvelle vidéo avec un éclairage significativement amélioré.

COMMENT UTILISER le workflow ComfyUI IC-Light

1. Téléchargez la Vidéo Source : Commencez par télécharger la vidéo que vous souhaitez améliorer.
2. Téléchargez la Vidéo de Carte de Lumière ou une Image Unique de Carte de Lumière : Choisissez une vidéo de carte de lumière ou une image unique pour servir de nouveau modèle d'éclairage.
3. Entrez Load Cap et d'autres Paramètres, les mêmes paramètres doivent être dans la Vidéo de Carte de Lumière.
4. Entrez les Invites qui décrivent vos nouveaux paramètres de lumière comme la lumière du soleil ou les lumières néon.
5. Sélectionnez votre Modèle. Un modèle réaliste est préféré.
6. Changez la Composition de la Carte de Lumière et d'autres Paramètres si nécessaire.
7. Appuyez sur rendre.

Les sorties seront enregistrées dans ComfyUI > Outputs

Inputs_1 - Paramètres

Ici, nous avons 5 Paramètres :

• Sampler Steps: Il détermine le nombre total d'étapes que KSampler prend pour rendre une image. Il ne doit pas être changé. [Valeur par défaut 26]
• Detail Enhancer: Il augmente les détails minutieux dans le rendu final. [Utiliser une valeur entre 0.1 et 1]
• Seed: Il contrôle la génération de Seed pour chaque KSamplers.
• Sampler CFG: Il contrôle les valeurs CFG des KSamplers.
• Refiner Upscale: Cela fonctionne comme la valeur Highres Fix. [Utiliser entre 1.1 – 1.6 pour de meilleurs résultats]

Invites

• Positive Prompt: Entrez les invites qui décrivent le mieux votre image avec le nouvel éclairage.
• Negative Prompts: Il est configuré pour donner les meilleurs résultats. N'hésitez pas à le modifier.
• Clip Text Encode nodes: Il aide à encoder le texte pour maximiser la qualité. Laissez-le à "full"

Modèles et Loras

• Checkpoint: Choisissez n'importe quel modèle realistic SD 1.5 pour des résultats précis. N'hésitez pas à choisir n'importe quel modèle SD 1.5 pour des résultats stylistiques.
• Loras: [Optionnel] Choisissez n'importe quel loras de la liste donnée si vous le souhaitez. Ne les utilisez pas à pleine puissance. Utilisez environ 0.5-0.7 pour un meilleur effet

Vidéo Source d'Entrée

• Téléchargez la Vidéo Source: Ici, vous cliquez et téléchargez votre vidéo de personnage humain que vous souhaitez changer de lumière.
  • Elle doit être inférieure à 100 Mo, Comfy échouera à télécharger une grande taille.
  • Elle ne doit pas dépasser 15-20 secondes. Elle peut échouer à rendre des vidéos plus longues
  • Elle doit être en 720p ou moins
  • Utilisez les Nodes Skip Frames si vous devez sauter certaines images de début. [Les vidéos de carte de lumière sauteront également ce nombre d'images]
• Limiteur de Taille d'Image: Ici, vous limitez la résolution de rendu, qu'elle soit en paysage ou en portrait, la résolution maximale sera toujours inférieure ou égale à la valeur définie.
  • Utilisez une valeur entre 800 – 1200 pour de meilleurs résultats. [Cela aura un impact sur la Vram]

Important: Utilisez un Load Cap de 10 pour tester d'abord

• Utilisez environ 200 - 300 images à une taille de 1000 – 1200, si vous avez 24 Go.
• Utilisez 0 si vous voulez rendre toutes les images. [Non recommandé pour les vidéos plus longues]

Paramètres de Masque et de Profondeur

• Masque: Il utilise le Matting Vidéo Robuste, les paramètres par défaut sont corrects.
• Depth ControlNet: Il utilise les derniers modèles DepthAnything v2.
  • La force et le pourcentage de fin sont définis à 75% pour donner des résultats optimaux
  • Utilisez Co pour de meilleurs résultats.

Carte de Lumière

• Téléchargez la Carte de Lumière: Cliquez et téléchargez une vidéo de carte de lumière que vous souhaitez.
  • Elle s'adaptera automatiquement aux dimensions de la vidéo source
  • Assurez-vous qu'elle soit plus longue ou égale aux dimensions de la vidéo source sinon cela entraînera une erreur.
• Light Map ControlNet: Cette carte de lumière est également utilisée comme controlnet de lumière en utilisant
• CN Strength et End Percent: Utilisez des valeurs faibles ici, des valeurs plus élevées peuvent causer une surexposition ou une transition de lumière brusque.

Carte de Lumière Unique

• Pour utiliser une image unique comme carte de lumière, désactivez ces nœuds et connectez le nœud de redirection au nœud “Pick one Input”.

AnimateDiff

• Chargez le Modèle Animatediff: Vous pouvez utiliser n'importe quel modèle pour différents effets.
• Autres nœuds Animatediff: Vous devez avoir quelques connaissances de animatediff pour changer d'autres paramètres [ Vous pouvez les trouver ]
• Paramètres SMZ: C'est un nœud pour augmenter la qualité du pipeline du modèle, tous les paramètres sont prédéfinis pour bien fonctionner.

Composition de la Carte de Lumière et Conditionnement IC

• Les nœuds d'ajustement supérieurs (en gris) sont là pour contrôler le conditionnement de la lumière IC, pour réduire le contraste et contrôler la luminosité.
• Générer un Nouveau Fond: Lorsqu'il est désactivé, il utilisera les entrées d'image originales et tentera de mapper les détails similaires au fond de la vidéo source selon les “Prompts de Fond” s'ils sont présents dans la boîte d'invite positive

[1girl, sunlight, sunset, white shirt, black short jeans, interior, room]

• Lorsque Générer un Nouveau Fond est Activé: Il générera un nouveau fond en tenant compte de la profondeur

[1girl, sunlight, sunset, nature in the background, sky]

De plus, la force et le pourcentage de fin du Depth ControlNet ont été réduits à 45 % pour avoir une zone ouverte en arrière-plan.

• Carte de Lumière au Dessus: Lorsque c'est vrai, la carte de lumière sera au-dessus de la vidéo source et plus dominante, Lorsque c'est faux, la source sera au-dessus, plus dominante et plus lumineuse
• Zone Affectant le Sujet: 2 modes de fusion fonctionnent le mieux
  • Multiply: Cela assombrira les zones d'ombre selon la carte de lumière en haut ou en bas
  • Screen: Cela éclairera les zones d'ombre selon la carte de lumière en haut ou en bas
  • Facteur de Fusion est pour l'intensité.

• Ajustements Généraux: Cela contrôlera la luminosité, le contraste, le gamma, la teinte de la carte de lumière traitée finale.
• Remappage de l'Image: Utilisez ce nœud pour contrôler la luminosité globale et l'obscurité de toute l'image.
  • Une valeur min plus élevée éclairera la scène
  • Des valeurs max plus basses rendront la scène plus sombre et peuvent convertir les zones plus lumineuses en objets morphing comme le QrCode Monster CN
  • Utilisez principalement la valeur min à 0.1 ou 0.2 pour éclairer un peu une scène.
  • Une valeur min de 0 aura une ombre complètement noire pour les pixels noirs de la carte de lumière.

KSamplers (Brut et Raffiné)

IC Raw Ksampler: Contrairement à tout autre échantillonneur, il commence à l'étape 8 au lieu de zéro, en raison de la condition IC-Light (les images sont débruitées à partir de la 8ème étape)

• Par exemple, une étape de fin de 20
• Étape de départ à
  • 0 n'aura aucun effet de carte de lumière.
  • 5 aura un effet de 50 pour cent
  • 10 aura un effet de 100 pour cent.
  • Donc, environ 3-8 est une bonne valeur à tester.

Lorsque Générer un Nouveau Fond est TRUE, vous pouvez aller en dessous de 5 pour de meilleurs résultats

• Ksampler Refine: Il fonctionne comme un raffineur Img2Img après l'échantillonneur brut IC.

Pour une étape de fin de 25

• Étape de départ à
  • 10 et en dessous fonctionneront comme un échantillonneur brut et vous donneront des objets morphing
  • 15 fonctionnera comme un raffineur proprement dit
  • 20 ne fonctionnera pas correctement
  • Au-dessus de 20 et au-dessus produiront des résultats désordonnés
  • Donc, 16 par défaut est bon.

Correction du Visage

• Upscale Pour la Correction du Visage: Si vos visages ne sont pas satisfaisants après la correction du visage, vous pouvez les mettre à l'échelle à environ 1.2 à 1.6 pour avoir de meilleurs visages.
• Positive Prompt: Ici, vous pouvez écrire les invites pour le visage. Il est réglé sur "souriant" par défaut. Vous pouvez le changer.
• Face Denoise: Utilisez environ 0.35 – 0.45. À des valeurs plus élevées, le visage peut être rendu incorrectement et des problèmes de glissement de visage peuvent survenir.

Sauvegarde

• Combinaison Vidéo: Cela exportera toutes les images au format vidéo. Si ce nœud échoue lors de la combinaison, cela signifie qu'il y a trop d'images et qu'il manque de RAM. Réduisez le load cap des images si cela se produit
  • Il sera enregistré par défaut dans ComfyUI > Outputs.
• Changer le Chemin de Sortie: Activez ce nœud, si vous souhaitez enregistrer la sortie à un emplacement de sauvegarde personnalisé

À propos de l'auteur de ce workflow

Jerry Davos

• Chaîne YouTube : https://www.youtube.com/@jerrydavos
• Patreon : https://www.patreon.com/jerrydavos

Contacts

• Email : davos.jerry@gmail.com
• Discord : https://discord.gg/z9rgJyfPWJ