- 文章标题：PhotoVerse: Tuning-Free Image Customization with Text-to-Image Diffusion Models
- 文章地址：https://arxiv.org/abs/2309.05793
- arxiv
当前定制化文生图面临着一些挑战，包括很长的未微调时间、大的存储需求、所需多张输入图片以及在保证id和可编辑性的不足。为了解决这些问题，文章提出PhotoVerse，一种使用了具有对偶分支的作用于文本和图像域的条件机制。
此外，为了提高id相似度，在训练时，模型使用了脸部的id loss。值得注意的是，PhotoVerse消除了测试时的微调，并且支持目标对象单张图片的输入。
- 数据：Fairface CelebA-HQ FFHQ
- 指标：脸部ID相似度（使用人脸识别模型Arcface计算脸部特征的余弦相似度）
- 硬件：1 V100/bs64
- 开源：https://photoverse2d.github.io/（暂未开源）