本文转自微信公众号“新智元”,作者:新智元。
【导读】
潞晨科技
正式推出 Open-Sora 2.0——一款全新开源的SOTA视频生成模型,仅20万美元(224张GPU)成功训练商业级11B参数视频生成大模型。开发高性能的视频生成模型通常耗资高昂:Meta的视频模型训练需要6000多张GPU卡片,投入数百万美元。在多项关键指标上,它与动辄百万美元训练成本的模型分庭抗礼,全面提升视频生成的可及性与可拓展性。
Open-Sora 2.0——全新开源的
SOTA
(State-of-the-Art)视频生成模型正式发布,仅用
20万美元(224张GPU)
成功训练出商业级11B参数视频生成大模型,性能直追HunyuanVideo和30B参数的Step-Video。
权威评测VBench及用户偏好测试均证实其卓越表现,在多项关键指标上媲美动辄数百万美元训练成本的闭源模型。
此次发布全面开源
模型权重、推理代码及分布式训练全流程
,让高质量视频生成真正触手可及,进一步提升视频生成的可及性与可拓展性。
GitHub开源仓库:
https://github.com/hpcaitech/Open-Sora
震撼视觉:Open-Sora 2.0 Demo先行
观看宣传片,体验Open-Sora 2.0的强大生成能力:
动作幅度可控:
可根据需求设定运动幅度,以更好地展现人物或场景的细腻动作。
画质与流畅度:
提供720p高分辨率和24 FPS流畅视频,让最终视频拥有稳定帧率与细节表现。
支持丰富的场景:
从乡村景色到自然风光场景,Open-Sora 2.0生成的画面细节与相机运镜都有出色的表现。
11B参数规模媲美主流闭源大模型
· 媲美HunyuanVide和30B Step-Video
Open-Sora 2.0采用
11B参数规模
,训练后在
VBench
和
人工偏好
(Human Preference)评测上都取得与用高昂成本开发的主流闭源大模型同等水平。
在视觉表现、文本一致性和动作表现三个评估维度上,Open Sora在至少两个指标上超越了开源SOTA HunyuanVideo,以及商业模型Runway Gen-3 Alpha等。以小成本获取了好性能。
根据视频生成权威榜单VBench的评测结果,Open-Sora模型的性能进步显著。
从Open-Sora 1.2升级到2.0版本后,与行业领先的OpenAI Sora闭源模型之间的性能差距大幅缩小,从之前的
4.52%
缩减至仅
0.69%
,几乎实现了性能的全面追平。
此外,Open-Sora 2.0在VBench评测中取得的分数已超过腾讯的HunyuanVideo,以更低的成本实现了更高的性能,为开源视频生成技术树立了全新标杆!
Open Sora自开源以来,凭借其在视频生成领域的高效与优质表现,吸引了众多开发者的关注与参与。
然而,随着项目的深入推进,也面临着高质量视频生成成本居高不下的问题。
为解决这些挑战,Open Sora团队展开了一系列卓有成效的技术探索,显著降低了模型训练成本。
根据估算,市面上10B以上的开源视频模型,动辄需要上百万美元的单次训练成本,而Open Sora 2.0将该成本降低了5-10倍。