🍊

VMC

  • 文章标题：VMC: Video Motion Customization using Temporal Attention Adaption for Text-to-Video Diffusion Models
  • 文章地址：https://arxiv.org/abs/2312.00845
  • CVPR 2024
文章提出了单视频参考的定制化动作生成的新方法，作者认为现有方法的优化目标都是通过将原视频与生成视频进行逐帧对齐，这会将动作信息与外观信息融合在一起，降低效果。于是作者提出了一个新的训练目标，即对齐生成视频与参考视频的帧间差，这个训练目标在引入动作信息的同时将外观信息结耦出去。 同时在训练时，作者使用的prompt是与外观无关的prompt，目的就是使的模型更关注动作而非外观信息。而且由于训练目标的特点，该trick与训练目标是保持一致的。