🍊

MAGREF

  • 文章标题：MAGREF: Masked Guidance for Any-Reference Video Generation with Subject Disentanglement
  • 文章地址：https://arxiv.org/abs/2505.23742
  • arxiv 2025（ICLR2026在投4668）
同Phantom，目的是解决S2V的问题，提出了一个新的架构。 该架构基于Wan2.1-I2V，作者通过将ref image以画布的形式排列在一张图像中，并将其作为第一帧输入到模型中，同时修改mask，以符合参考画布的排版，最后三者在通道维度进行拼接输入到模型中。同时为了增强subject之间的区分，作者还将prompt编码后相应subject单词的value值加到latent的第一帧对应区域中，作者称之为subject disentanglement。 说说自己的想法： 首先，该方法作为一个大规模训练的方法，其条件以画布的形式输入是否会影响特征信息的完整性？其次在subject disentanglement中，如果两个subject对应的单词是一样的，这时候该方法就失效了。并且这种编码后提取某个单词的方法是否包含所有该单词的特性是不确定的。