字节最新的AI视频论文：“Phantom: 通过跨模态对齐实现主-20250221193257

字节最新的AI视频论文：“Phantom: 通过跨模态对齐实现主题一致的视频生成”。

随着视频生成基础模型的不断发展，面向各种应用场景的研究也日益增多，其中，主题一致的视频生成依旧处于探索阶段。这一过程被称为Subject-to-Video，即从参考图像中提取主体元素，并通过文本指令生成主题一致的视频。

我们认为，主题到视频的本质在于平衡文本和图像的双模态提示，从而深度并同时对齐文本和视觉内容。为此，我们提出了一个名为Phantom的统一视频生成框架，适用于单主体和多主体参考。

在现有的文本到视频和图像到视频架构基础上，我们重新设计了联合文本-图像注入模型，并通过文本-图像-视频三元数据驱动其学习跨模态对齐。特别地，我们强调了在人物生成中的主体一致性，不仅覆盖了现有的ID保持视频生成，而且提供了增强的优势。

项目：phantom-video.github.io/Phantom/

比如视频1的哪吒的视频

#ai创造营# #deepseek# #ai#