接力DeepSeek，阶跃星辰直接开源两款国产多模态大模型

机器之心报道

作者：泽南

两款 Step 系列开源多模态大模型，性能位列开源多模态全行业第一。

本周二，国内 AI 创业公司阶跃星辰和吉利汽车集团宣布联合开源两款多模态大模型。

这两款大模型分别是视频生成模型 Step-Video-T2V 和行业内首款产品级开源语音交互模型 Step-Audio。根据官方的测评报告，目前 Step-Video-T2V 是全球范围内参数量最大、性能最好的开源视频生成模型。

Step-Video-T2V 模型部署及技术报告链接：

• GitHub：https://github.com/stepfun-ai/Step-Video-T2V
• Hugging Face：https://huggingface.co/stepfun-ai/stepvideo-t2v
• Modelscope：https://modelscope.cn/models/stepfun-ai/stepvideo-t2v
• 技术报告：https://arxiv.org/abs/2502.10248

和此前引爆全球科技界的 DeepSeek R1 一样，阶跃星辰的 Step-Video-T2V 视频生成模型，采用最为宽松的 MIT 许可协议，支持免费商用、任意修改和衍生开发，为开源社区带来了新的技术思路启发。这次发布也意味着阶跃星辰成为大模型开源世界的又一股中国力量。

与此同时，两款大模型均已可以在 「跃问」App 上进行体验，视频模型还可以在桌面端使用： https://yuewen.cn/videos

阶跃星辰的大模型在 AI 社区引发了关注。Hugging Face 工程师、前谷歌 TensorFlow 团队成员 Tiezhen Wang 表示，阶跃星辰简直就是下个 DeepSeek：

Hugging Face 官推也转贴了他的评论。

GPT-J 作者 Aran Komatsuzaki 贴出了用新模型生成的视频。

更多网友对国内 AI 公司对开源社区的贡献表示了欢迎。

最强开源视频模型

会运镜、生成形象好、还擅长运动

初步体验一下，可以感觉到 Step-Video-T2V 显著提升了视频生成 AI 能力的上限。我们看看目前人们用跃问视频生成的效果。

首先要关注的是在电影、视频短片中最显制作者「功力」的镜头调度能力：

低角度旋转镜头围绕着一个鼓手和他的架子鼓。鼓手穿着深色T恤和浅色裤子，戴着帽子，手臂上有纹身。

在晴朗的海滩上，一个男孩正在建造沙堡。镜头以俯视角度拍摄，展现他专注的神情和灵巧的双手。

看起来 Step-Video-T2V 具备强大的运镜能力 ，它能够实现推、拉、摇、移、旋转、跟随等多种镜头运动方式，还能支持不同景别之间的切换。

其次是生成式 AI 的老大难问题 —— 人物运动的姿态。

一个精灵，在森林中起舞，身旁是萤火虫环绕，月光透过树叶，慢速展现精灵的轻盈，画面梦幻唯美。

跳水。

很多例子显示， Step-Video-T2V 擅长复杂运动生成 ，无论是高雅优美的芭蕾舞、对抗激烈的空手道、紧张刺激的羽毛球，还是高速翻转的跳水，新模型都展现出了对复杂运动场景的优秀把控能力。

我们也很关心 AI 生成人物形象和表情的合理性，在这方面 Step-Video-T2V 也做得不错。

人物模糊化失焦拍摄，一个女孩的侧脸，披肩黑色长卷发，戴着红色贝雷帽，穿着蓝色毛衣，正在笔记本电脑前打字。

从众多案例中我们可以发现， Step-Video-T2V 生成的人物形象相比此前的多模态大模型更加逼真、生动，细节更丰富，表情也更自然 。AI 生成的人物五官、发型、皮肤纹理都更加细腻。

从生成效果来看，Step-Video-T2V 在复杂运动、人物美感、视觉想象力、基础文字生成、原生中英双语输入和镜头语言等方面具备强大能力，并具有突出的语义理解和指令遵循能力，可以帮助人们更精准地呈现创意。

惊艳的视频生成效果背后，是阶跃星辰自研且具有创新性的基础多模态大模型。

Step-Video-T2V 在开源的同时也第一时间放出了技术报告，可知该模型的参数量达到 300 亿，可以单次直接生成 204 帧、540P 分辨率的高质量视频。这意味着大模型能够确保生成的视频内容具有极高的信息密度和一致性。

Step-Video-T2V 的架构概览。

在模型细节上，为了实现更加逼真的视频生成，研究人员设计了深度压缩变分自编码器 Video-VAE，它实现了 16×16 的空间压缩比。与绝大多数 8×8×4 压缩比的 VAE 模型相比，Video-VAE 能够在相同视频帧数下额外压缩 8 倍，从而实现训练和生成效率提升 64 倍的效果。

Video-VAE 架构。

与此同时，阶跃使用流匹配训练了一个具有 3D 全注意力机制的 DiT，用于将输入噪声去噪成潜在帧，还应用了基于视频的 DPO 方法以减少伪影并提高生成视频的视觉质量。

双语文本编码器和具有 3D Attention 的 DiT 的模型架构。

为了对开源视频生成模型的性能进行全面评测，阶跃星辰还开源了针对文生视频质量评测的基准数据集 Step-Video-T2V-Eval。该测试集包含 128 条源于真实用户的中文评测问题，旨在评估生成视频在运动、风景、动物、组合概念、超现实、人物、3D 动画、电影摄影等 11 个内容类别上质量。

Step-Video-T2V-Eval 评测结果。

评测结果显示，Step-Video-T2V 的模型性能在指令遵循、运动平滑性、物理合理性、美感度等方面全面超越了此前行业内性能最好的开源模型。

产品级语音交互模型

高情商还懂方言

在语音交互一侧，阶跃星辰开源的 Step-Audio，能够根据不同场景生成情绪、方言、语种、歌声和个性化风格的表达，让 AI 能和用户自然地进行高质量对话。

这里有一些实测例子。在 Step-Audio 加持下，我们发现现在的 AI 还懂得了很多人情世故：

Step-Audio 的反应速度很快，生成的语音也非常自然，还具备不错的情商。据悉，Step-Audio 也能实现高质量音色复刻和角色扮演，可满足影视娱乐、社交、游戏等行业场景的应用。

在 LlaMA Question、Web Questions 等五大主流公开测试集上，Step-Audio 的性能均超过行业内同类型开源模型，位列第一。另外， Step-Audio 在汉语水平考试六级 HSK-6 评测中的表现尤为突出，成为了最懂中国话的开源语音交互大模型 。

此外，根据阶跃自建并开源的多维度评估体系 StepEval-Audio-360 基准测试显示，Step-Audio 在逻辑推理、创作能力、指令控制、语言能力、角色扮演、文字游戏、情感价值等维度均取得了最佳成绩。

具体来说，Step-Audio 的技术探索为多模态开源社区带来了五个方面的贡献：

• 多模态理解生成一体化：单模型完成语音识别、语义理解、对话、语音生成等功能，并开源了千亿参数多模态模型 Step-Audio-Chat 版本；
• 高效合成数据链路：Step-Audio 突破传统 TTS 对人工采集数据的依赖，能生成高质量的合成音频数据，实现合成数据生成与模型训练的循环迭代，并同步开源了首个基于大规模合成数据训练，支持 RAP 和哼唱的指令加强版语音合成模型 Step-Audio-TTS-3B；
• 精细语音控制：支持多种情绪（如生气、高兴、悲伤）、方言（如粤语、四川话）和唱歌（包括 RAP、干声哼唱）的精准调控；
• 扩展工具调用：通过 ToolCall 机制，Step-Audio 能够集成搜索引擎、知识库等外部工具，进一步提升其在 Agents 和复杂任务上的表现；
• 高情商对话与角色扮演：基于情感增强与角色扮演强化的 RLHF 流程，提供了人性化回应并支持定制化角色设定。