🍊

SkyReels-V4

在视频端，做了channel concatenation和in-context两种条件注入方式，但它们是针对不同任务构造的，channel concatenation是针对统一video inpainting的，主要实现条件帧的控制（I2V, Video Extension, 首尾帧, 视频编辑），这部分与Wan2.1-I2V类似Concat(V, I, M)， I对应条件帧。而in-Context注入主要针对视觉参考部分，比如参考人物，风格等等，这部分其实包含两块，一块是VAE特征，一块是与文本进行交互的MLLM特征，用于支持指令跟随能力。 值得注意的是，在数据收集阶段，他用到了真实数据+合成数据，合成数据主要用于解决现实世界数据覆盖不足的稀疏场景和生成任务。