🍊

MasterWeaver

  • 文章标题：MasterWeaver: Taming Editability and Face Identity for Personalized Text-to-Image Generation
  • 文章地址：https://arxiv.org/abs/2405.05806
  • ECCV 2024
当前的免测试微调的定制人脸文生图的方法通常受限于过拟合，学习到的id信息通常混杂了一些无关的信息，造成了与文本控制的冲突。 文章提出了MasterWeaver，一种免测试微调的定制化文生图方法，同时保证了高保真和灵活的可编辑性。具体来说，该方法使用一个encoder去提取id特征并通过引进额外的交叉注意力引导图像的生成。同时，为了保证保真度的同时增加编辑能力，作者提出了一个“编辑有向loss”用于损失，该损失用于对齐目标模型和原模型的编辑方向。此外还构建了一个人脸增强的数据集用于解耦的id特征学习。 文章的主要创新点为“编辑有向loss”，在训练过程中使用两个prompt（源+目标）对同一隐变量在目标模型和源模型同时进行推理，将源模型得到的两个prompt的结果作差，得到“方向”，将此作为监督信息使目标模型的编辑方向相同。因为编辑方向的计算仅仅依赖于文本的偏差，不依赖于id信息，因此将其引入是非常合理的。 此外，作者使用了E4E和DeltaEdit对人脸进行属性编辑，得到了人脸增强的数据集，可以利用该数据集使参考图像与目标图像不一致而增强提取特征的鲁棒性。