- 文章标题：Subject-Diffusion: Open Domain Personalized Text-to-Image Generation without Test-time Fine-tuning
- 文章地址：https://arxiv.org/abs/2307.11410
- SIGGRAPH 2024
定制化文生图发展迅速，然而，开放域的免测试微调的定制化文生图领域发展相对来说非常缓慢。文章提出了Subject-Diffusion，一个全新的开放域定制化文生图模型，该模型不仅仅不需要测试微调，还仅需要一张参考图像用于一个或两个任意域的对象的定制化生成。首先，文章建造了一个自动化数据标注工具，并使用LAION-Aesthetics数据集来构造一个大规模的数据集，其包含了76M张图像和对应的对象检测框、分割掩码以及其文本描述。然后，作者设计了一个新的统一的架构，通过结合粗粒度位置信息和细粒度参考图像控制来结合文本和图像语义，以最大限度地提高主体保真度和泛化能力。此外，还使用了注意力控制机制来支持两个对象的生成。
数据构建的pipeline如下图。
主要贡献就是构造了自己的数据集，但未开源。
- 数据：自己构造的数据集SDD
- 指标：同DreamBooth
- 硬件：未提及
- 开源：未开源