Null-text Inversion

这篇文章的目的就是为了将prompt-to-prompt的方法运用到真实图像上。 普通的DDIM反转对于classifier-free引导的文生图模型来说,重建的图像质量很差,因此文章提出了该方法。首先将图像使用DDIM反转到接近高斯分布作为起始点,然后进行去噪时,将classifier-free引导的无条件部分的text替换为可学习的embedding,然后将DDIM反转的原轨迹作为监督训练这些(每个t对应单独的embedding)embedding,从而完成了高质量的文生图重建,从而可以将prompt-to-prompt方法运用于真实图像。