- 文章标题：DreamIdentity: Improved Editability for Efficient Face-identity Preserved Image Generation
- 文章地址：https://arxiv.org/abs/2307.00300
- AAAI 2024
自建数据集挺有意思。
在人脸定制文生图中，如何保留人脸的特征是很重要的问题，当前有不适合应用的基于微调的方法和损失了可编辑性的免测试微调的方法。本文提出了DreamIdentity，一种免测试微调且能够保证人脸保真度和编辑性的方法。具体来说，作者提出了一个全新的ID Encoder用于学习人脸的特征（就是一个ViT），其使用了多尺度人脸特征并将其映射到多个伪词中。此外，为了保证人脸的可编辑性，作者提出了自增强编辑性的方法，其使用名人在原模型中本身具有较好的鲁棒性的特征，构造了一个增强的数据集，该数据集包含名人原图像、指令、符合指令的图像。利用该数据集，模型可以很好地保留人脸的可编辑性。
- 数据：FFHQ+自增强数据集
- 指标：CLIP；人脸相似度（arcface特征提取+余弦距离）
- 硬件：8 A100/bs64
- 开源：https://dreamidentity.github.io （暂未开源）