DreamRelation

文章聚焦于视频生成中两个对象之间的关系,设计了关系外观解耦学习方法,用于学习关系的同时避免对外观信息的拟合,第二个动态增强部分(图中右侧部分)个人感觉没啥用,可能是用来凑创新点的。 具体来说,作者利用三个LoRA分别关注物体1的外观,物体2的外观以及他们之间的关系,然后结合参考视频提取出的mask来进行训练,使得各部分LoRA关注特定的信息。从而在推理时,只使用关系LoRA,完成关系的定制化。 这不就是多对象动作转移吗?? 多对象动作转移中有一个难以解决的问题就是动作与对象的对应关系,如何对应需要研究,有相关工作吗?(特别是非对称的关系,需要强调对象与动作的对应关系)