Linear Mask Dilation | Animações Impressionantes

ComfyUI Linear Mask Dilation

Crie animações de vídeo impressionantes transformando seu sujeito (dançarino) e faça-o viajar por diferentes cenas através de um efeito de dilatação de máscara. Este fluxo de trabalho é projetado para ser usado com vídeos de um único sujeito.

Como usar o Fluxo de Trabalho ComfyUI Linear Mask Dilation:

1. Carregue um vídeo do sujeito na seção de Entrada
2. Selecione a largura e altura desejadas do vídeo final, juntamente com quantos quadros do vídeo de entrada devem ser pulados com "every_nth". Você também pode limitar o número total de quadros a serem renderizados com "frame_load_cap".
3. Preencha o prompt positivo e negativo. Defina os tempos de quadros em lote para corresponder ao momento em que deseja que as transições de cena ocorram.
4. Carregue imagens para cada uma das cores da máscara do sujeito do IP Adapter:
   1. Branco = sujeito (dançarino)
   2. Preto = Primeiro plano de fundo
   3. Vermelho = Plano de fundo da máscara de dilatação vermelha
   4. Verde = Plano de fundo da máscara de dilatação verde
   5. Azul = Plano de fundo da máscara de dilatação azul
5. Carregue um bom ponto de verificação LCM (eu uso ParadigmLCM by Machine Delusions) na seção "Models".
   1. Adicione quaisquer loras usando o Lora stacker abaixo do carregador de modelos
6. Clique em Queue Prompt

Entrada

• Você pode ajustar a largura e altura usando as duas entradas no canto superior esquerdo
• every_nth define quantos quadros da entrada devem ser pulados (2 = a cada outro quadro)
• Os campos numéricos no canto inferior esquerdo exibem informações sobre o vídeo de entrada carregado: quadros totais, largura, altura e FPS de cima para baixo.
• Se você já tiver um vídeo de máscara do sujeito gerado (deve ser sujeito branco em fundo preto), você pode desmutar a seção "Override Subject Mask" e carregar o vídeo da máscara. Opcionalmente, você pode mutar a seção "Segment Subject" para economizar tempo de processamento.
• Às vezes, o sujeito segmentado não será perfeito, você pode verificar a qualidade da máscara usando a caixa de visualização no canto inferior direito, como visto acima. Se for o caso, você pode brincar com o prompt no nó "Florence2Run" para direcionar diferentes partes do corpo, como "cabeça", "peito", "pernas", etc., e ver se obtém um resultado melhor.

Prompt

• Defina o prompt positivo usando formatação em lote:
  • e.g. "0": "4k, masterpiece, 1girl standing on the beach, absurdres", "25": "HDR, sunset scene, 1girl with black hair and a white jacket, absurdres", …
• O prompt negativo é em formato normal, você pode adicionar embeddings se desejar.

Dilatações de Máscara

• Cada grupo colorido corresponde à cor da máscara de dilatação que será gerada por ele.
• Você pode definir a forma da máscara, juntamente com a velocidade da dilatação e o atraso do quadro com o seguinte nó:
  • shape: "circle" é a mais precisa, mas leva mais tempo para gerar. Defina isso quando estiver pronto para realizar a renderização final. "square" é rápido de calcular, mas menos preciso, melhor para testar o fluxo de trabalho e decidir sobre as imagens do IP adapter.
  • dilate_per_frame: Quão rapidamente a máscara deve dilatar, números maiores = maior velocidade de dilatação
  • delay: Quantos quadros esperar antes que a máscara comece a dilatar.
• Se você já tiver um vídeo de máscara composta gerado, pode desmutar o grupo "Override Composite Mask" e carregá-lo. Recomenda-se ignorar os grupos de máscara de dilatação se estiver substituindo para economizar tempo de processamento.

Modelos

• Use um bom modelo LCM para o ponto de verificação. Recomendo ParadigmLCM by Machine Delusions.
• Você pode opcionalmente especificar o AnimateLCM_sd15_t2v_lora.safetensors com um peso baixo de 0.18 para melhorar ainda mais o resultado final.
• Adicione quaisquer Loras adicionais ao modelo usando o Lora stacker azul abaixo do carregador de modelos.

AnimateDiff

• Você pode definir um Motion Lora diferente do que eu usei (LiquidAF-0-1.safetensors)
• Ajuste o valor float do Multival Dynamic mais alto ou mais baixo, dependendo se você quer que o resultado tenha mais ou menos movimento.

IP Adapters

• Aqui você pode especificar os sujeitos de referência que serão usados para renderizar os planos de fundo para cada uma das máscaras de dilatação, bem como o sujeito do seu vídeo.
• A cor de cada grupo representa a máscara que ele alvo:
  • Branco = sujeito (dançarino)
  • Preto = Primeiro plano de fundo
  • Vermelho = Plano de fundo da máscara de dilatação vermelha
  • Verde = Plano de fundo da máscara de dilatação verde
  • Azul = Plano de fundo da máscara de dilatação azul
• Se você quiser que a renderização final siga mais de perto as imagens do IP adapter de entrada, você pode alterar o preset do IPAdapter de VIT-G para PLUS no grupo IPA Unified Loader.

ControlNet

• Este fluxo de trabalho faz uso de 5 controlnets diferentes, incluindo AD, Lineart, QR Code, Depth e OpenPose.
• Todas as entradas para os controlnets são geradas automaticamente
• Você pode escolher substituir o vídeo de entrada para os controlnets Depth e Openpose se desejar, desmutando os grupos "Override Depth" e "Override Openpose" como visto abaixo:

• Recomenda-se mutar os grupos "Generate Depth" e "Generate Openpose" se estiver substituindo para economizar tempo de processamento.

Sampler

• Por padrão, o grupo de sampler HiRes Fix estará mutado para economizar tempo de processamento ao testar
• Recomendo ignorar o grupo Sampler também ao tentar experimentar as configurações da máscara de dilatação para economizar tempo.
• Nas renderizações finais, você pode desmutar o grupo HiRes Fix, que fará a upscale e adicionará detalhes ao resultado final.

Saída

• Existem dois grupos de saída: o da esquerda é para saída de sampler padrão e o da direita é para saída de sampler HiRes Fix.
• Você pode alterar onde os arquivos serão salvos alterando a string "custom_directory" nos nós "FileNamePrefixDateDirFirst". Por padrão, este nó salvará vídeos de saída em um diretório com carimbo de data/hora no diretório "output" do ComfyUI
  • e.g. …/ComfyUI/output/240812/<custom_directory>/<my_video>.mp4

Sobre o Autor

Akatz AI:

• Website:
• https://www.youtube.com/@akatz_ai
• https://www.instagram.com/akatz.ai/
• https://www.tiktok.com/@akatz_ai
• https://x.com/akatz_ai
• https://github.com/akatz-ai

Contatos:

• Email: akatzfey@sendysoftware.com