- 文章标题：Inserting Anybody in Diffusion Models via Celeb Basis
- 文章地址：https://arxiv.org/abs/2306.00926
- NIPS 2023
简单有效的方法，利用文生图模型内在具有的名人图像生成能力使新对象嵌入到模型中。
以前的增加新对象的方法会削弱对象的联合生成能力，为此，文章提出了新的方法，仅仅使用1024个参数和低于3min的训练时间将特定人无缝地与预训练的文生图模型结合。为实现该目标，作者在预训练的文本编码器的词嵌入空间中分析并精心构建了一组由名人组成的基，当将一张图片作为目标人物时，通过优化这些基的系数从而得到该人物的词嵌入，在这个过程中其他部分参数都是冻住的。该方法在概念联合生成（多个人物共同生成）中明显超过现有模型，并且，模型能够一次学习多个目标人物并很好地联合生成他们，这在以前的模型都是失败的。
具体来说，作者首先发现名人的词嵌入具有线性插入融合的特性，从而产生了该idea。首先收集并过滤名人的名字，将其经过tokenizer得到词嵌入，然后经过PCA将p个（512）主成分特征向量，利用该p个向量作为基计算目标人物的词嵌入。
值得注意的是，模型训练时并不是对系数直接进行优化训练，而是将人脸图片经过人脸识别模型（Arcface）得到人脸特征，再经过MLP对系数进行预测。
效果图：
- 数据：测试时微调（StyleGAN生成的数据集）
- 指标：CLIP；人脸相似度；人脸检测率
- 硬件：未提及
- 开源：https://celeb-basis.github.io