图片来源:由无界AI生成
OpenAI发布会直播第3天,继第1天完全版o1和200美元月费ChatGPT Pro会员,以及第2天的强化微调工具后,OpenAI终于填上9个月前的期货大坑,正式发布了观众敲碗已久的全新视频生成模型——Sora Turbo。
Sora Turbo被描述为今年2月Sora预览版的高端加强版,速度显著提升,继承了早期技术报告中提到的“世界模拟”能力。不仅支持从文本和图片生成视频,还新增了风格重混、时间延展、故事版等多种高级功能。
从放出的demo和不少用户体验的效果来看,它的模型能力并没有比其他同类产品有明显增强,但这一次OpenAI带来的惊艳在于它给Sora设计的一整个完善的产品体验,和它所提供的制作流程。
看来,模型遇到瓶颈的OpenAI,在发力自己的产品能力后,还是有效果了。
目前Sora Turbo作为独立产品在Sora.com上线,首批开放给 Plus 和 Pro 用户。
直播中,团队先是介绍了全新设计的用户界面,长这样:
左侧栏「Explore」是社区共享的灵感空间,用于展示其他用户生成的精彩视频。用户可以点击查看视频详情,每个视频底部会显示制作方法,支持基于他人创作进行再创作,学习分享技巧。
「Library」则相当于个人主页,供查看所有生成的作品。页面提供多种视图模式,支持创建文件夹、收藏内容,并可从动态页面标记书签,方便管理作品。
界面底部设有编辑器,你可以在此输入文字描述或上传图片素材来创建视频。
Sora支持生成 480p 至 1080p 分辨率的视频,时长范围 5 至 20 秒,提供横屏、竖屏和方形三种宽高比。系统还能够同时生成多个版本,方便比对不同的生成效果。
另外值得一提的是“Presets(预设风格)”选项。当找到一个特别中意的审美风格时,可以将其保存为预设,以便应用到未来作品中。除自定义预设外,系统还内置了一些有趣的默认风格,如"定格动画"、"气球世界"等,为创作增添更多可能性。
本次发布会直播的核心亮点就是Sora Turbo具备的一系列新功能,包括:
Remix(重混)
使用自然语言描述想要进行的改动,可对视频元素进行替换、移除或重构。
例如演示中,在“沙漠中行走的长毛猛犸象,广角镜头视角”场景下,选择 Remix 功能,输入“将长毛猛犸象替换为机器人”的指令。
Sora 会自动完成渲染过程。还可以调整生成强度,选择“强力 Remix”进行大幅改动(如替换角色),或选择“轻微 Remix”进行小调整(如添加风或沙尘)。
Storyboard(故事板)
一个全新工具,让创作者在个性化时间轴上组织和编辑独特的动作序列。
点击编辑器右侧“ Storyboard ”进入后,屏幕上方是用于描述场景、角色和具体动作的"故事板卡片",中间是展示视频剪辑轮廓的时间轴,底部则是各项创建设置。
以创作一段白鹤捕鱼的视频为例:
首先在故事板卡片中设置初始场景“一只美丽的白鹤站在小溪中,尾巴是黄色的", Sora 会根据描述自动补充细节。随后在时间轴中添加另一张卡片,描述新动作:“白鹤低下头进入水中并叼起一条鱼”。Sora会在两张卡片之间的空白区域,生成流畅的过渡画面。
此处演示小翻车,白鹤没有叼到鱼。
Re-cut(重新剪辑)
可对视频片段进行精准裁剪并扩展。
这个比较好理解:有时你可能只喜欢生成视频中的某一个画面,这时选出自己需要的镜头,点击Re-cut后进行时间轴的摆放,Sora就可以延展镜头前后空白时间,补全场景。
Loop(循环)
在时间轴上截取镜头,制作2秒到6秒的无缝循环视频片段。
Blend(混合)
将两个视频无缝结合为一个短片。
不知是不是怕又翻车,直播里只说把机器人和猛犸象结合,却并没有演示。没关系,咱们亲自试试。
我选取了社区共享的一段熊猫跳舞视频,和自己上传的一段烟花视频进行blend。
在两段视频中间可以看到一条曲线,用于表示每段视频在不同时间点的影响强度。曲线越高,上方视频的影响越大;曲线越低,则下方视频的影响更强。通过调整左右滑块,可以裁剪或扩大每段视频在最终混合中的占比。
混合操作大约用了几十秒,最终生成的结果如下:
不过我更期待看到“熊猫在烟花下跳舞”的场景。
Sora 提供了四种混合方式:transition(过渡)、mix(融合)、sample(点缀) 和 custom(自定义)。正当我兴致勃勃想尝试 mix后的 效果时,系统却提示“capacity已达上限,请稍后再试”—— 有点可惜,大家自行想象吧!
视频编辑过程中,随时都可以对提示词、比例和分辨率等进行修改。完成后可以选择将作品发布到社区,或保存到本地。
如果只想自用,也不希望被OpenAI拿去训练模型,到设置里关闭“Publish to explore”和“improve the model for everyone”就可以了。
可用性方面,Sora Turbo 已在全球大部分地区上线,但暂不支持欧洲、英国及部分受限国家。
对于 Plus 和 Pro 用户,Sora 已包含在订阅中,无需额外费用。具体用量如下:
• Plus 用户:每月最多生成 50 个 480p 视频,或更少数量的 720p 视频。
• Pro 用户:每月支持 500 次高速生成,以及无限次慢速生成。
• 所有用户:可免费浏览动态页面。
早在周日晚上,Sam Altman 就在 X 平台上发布了一条意味深长的"藏头诗",被网友解读为 Sora 即将登场的暗示。
在直播中,Sam Altman 强调了视频技术对 OpenAI 的三个重要意义:
首先是为创意人士提供 AI 工具,创造全新的人机协作方式。其次是突破局限,让 AI 从文本交互扩展到视频领域,重新定义人机交互。第三是推进 AGI 发展,视频将成为 AI 学习现实世界任务的重要训练环境,对实现通用人工智能至关重要。
关于产品定位,Sora团队明确表示,这并非一个自动生成完整电影的解决方案,而是一个为创作者提供新型创意方式的辅助工具。目前发布的 Sora版本仍存在许多限制。比如视频物理效果有时不够真实,且在长时间复杂动作场景中表现不佳。
Sam Altman 将其比作"视频领域的 GPT-1"——虽处于早期阶段,但已展现出强大潜力,未来还将在性能、速度和成本方面持续优化。
值得一提的是,Sora是由顶尖的研究团队与小型高效的产品工程团队密切合作,仅用数月时间就完成了从模型开发到产品的落地,奥特曼也数次骄傲点赞OpenAI快速推进的能力(认真的吗,好吧)。
不论如何,今天Sora的上线算是OpenAI久违带来的真东西。社区热情肉眼可见,很快就把服务器挤爆了。
不过,今天的主角不是只有OpenAI。Google 同样带来了一项重磅发布——全新一代量子计算芯片 Willow。这款芯片通过突破性的技术大幅减少误差,攻克了困扰行业 30 年的难题。
Google CEO Sundar Pichai 表示,在测试中,Willow 在不到 5 分钟内完成了一项传统超级计算机需要超过 317 亿年才能完成的计算任务,展现出颠覆性计算能力,堪称壮举。Elon Musk和Sam Altman都前排献上祝贺。
最后,我们再来欣赏几个用Sora Turbo生成和编辑的视频片段,感受一下细节刻画和镜头语言:
故事板:日本冬季街头
故事板:六名工人,身穿暗色破旧衣服,携带工具和背包,缓慢地行走在一个荒凉、雾气弥漫的海滩上。
Remix重混:给水母加上滑稽的眼睛。
坐等各位 Plus用户和高端Pro用户的使用反馈,欢迎下方留言!