- 文章标题：P+: Extended Textual Conditioning in Text-to-Image Generation
- 文章地址：https://arxiv.org/abs/2303.09522
- arxiv
文章提出了P+，一个文生图扩散模型中扩展的文本条件空间。该空间由去噪UNet中每一个交叉注意力层的prompt组成。文章展示了这个文本条件空间能够在图像生成过程中提供更好的解耦以及控制。进一步，作者提出了扩展的文本逆转（XTI），其将对象逆转到P+中，然后用每一层的token来表示该对象。XTI比起TI来说更具有表达性和精确性，且能够更快地收敛。该方法没有任何明显的重建能力与编辑能力的权衡，提供了更加通用的逆转结果。
文章的思想非常简单，就是在不同的交叉注意力层使用不同的token引导图像生成。对于XTI就是训练多个对象的token来表示。
文章还做了一系列分析，发现在UNet中，更加高分辨率层主要负责颜色、纹理等细粒度的特征，而低分辨率层主要负责整个对象的轮廓、结构等粗粒度的特征（图二、图三）。
并且，作者还利用了不同分辨率层中的交叉注意力层的对象token和外观token的注意力来进行分析，结果如下，可以发现，越是分辨率低的层，其对象token的的注意力占比越高，越是分辨率高的层，其外观token的注意力占比越高。这也符合前面的实验结果。
使用不同的prompt从内往外逐步扩大其引导的层，实验结果表明，想要替换主要对象，引导内层很快就能替换，而替换外观需要比较多的层数替换。
- 数据：测试微调（测试数据与TI一致）
- 指标：文本对齐度（CLIP）；对象相似度（DINO）
- 硬件：2 A100/bs8
- 开源：未开源，但有人复现