🍊

DynamicConcepts

one-shot进行视频概念学习的方法。文章提出了一个概念，即从视频中学习到的概念不仅仅包含外观信息，还包含时序信息，称之为动态概念。因此学习动态概念需要对两种信息分别进行训练：方法也非常简单，首先对外观信息进行学习，训练LoRA，训练数据为视频帧进行打乱；然后再训练LoRA的第二个子矩阵，训练数据为原视频帧。从而对动态概念进行了学习，并可以使用相应的token进行组合生成。