🍊

DemoCaricature

该文章的任务是根据素描生成特定人物的漫画图像，需要对单张图像进行训练。该方法实现了较好的人脸保留度与形状对齐度的平衡，此外还增加了风格图像作为风格条件作为引导。 方法跟我之前那个idea很像，在TI基础上进行改进，通过在每个cross-attention processor中增加一个可学习的向量，增加K和V的表达能力，该方法在这里有一个相似度的计算，不是很明白。（源于Perfusion） 此外，文章还增加了对人脸进行随机mask的trick，以及对学习到的向量的正则化的惩罚项，增加模型的鲁棒性。