🍊

FreeTraj

文章提到FreeInit中揭示的低频信号在加噪过程中保持得比较好，因此探究了初始噪声对生成视频的布局的影响，发现设置相同初始噪声的区域会呈现移动的现象，需要在高频进行重新采样，配合轨迹+高频重采样完成了噪声初始化引导；其次，文章还对不同attention层进行了mask的操作，为了使主体区域关注其轨迹本身以及前景token关注其主体区域以及每帧特定位置的像素关注特定帧的该区域。