🍊

COW

  • 文章标题：DIFFUSION IN DIFFUSION: CYCLIC ONE-WAY DIFFU- SION FOR TEXT-VISION-CONDITIONED GENERATION
  • 文章地址：https://arxiv.org/abs/2306.08247
  • ICLR 2024
扩散模型在生成的过程中存在复杂的图像区域间的相互的干扰，对一些需要保留低水平像素信息的下游任务存在矛盾。为此，文章调查了扩散模型中的扩散特性，并提出了COW的方法控制扩散的方向，使得冻结的预训练的扩散模型能够进行灵活的个性化生成。 值得注意的是，与当前大部分引入额外条件的方法不同，这些方法大都使用微调基础模型或学习辅助网络，文章提出的方法提供了一个全新的不需要学习的定制化方法。具体来说，当模型进行推理时，该方法在某个时间区间对人脸区域进行替换，替换成条件人脸，并重复n次该过程。