SimulateMotion

  • 文章标题:Training-Free Motion-Guided Video Generation with Enhanced Temporal Consistency Using Motion Consistency Loss
  • 文章地址:https://arxiv.org/abs/2501.07563
  • arxiv
文章基于视频扩散模型的inversion的特性(一些基于参考视频或基于轨迹的视频生成方法[FreeNoise,FreeTraj…]表明,生成视频中的运动方向通常与噪声初始化中存在的运动流一致。),对其进行优化,具体来说,其将关键点的每一帧的特征与其后面帧的所有点特征进行相似度计算,就得到了所谓的动作模式,然后在每一步去噪的时候,计算目标动作模式与源目标模式的损失,更新预测噪声,完成了动作模式的对齐。
  • 数据:无需训练数据
  • 指标:见原文
  • 硬件:未提及
  • 开源:未开源