【导读】
「鸽」了整整一年的Sora,终于上线了!OpenAI 20分钟的演示展示了视频二合一等多项炸裂的新功能。奥特曼直言:Sora是AGI路线图上的重要里程碑。现在系统已经被网友们挤爆了,新用户间歇性暂停注册。
OpenAI直播第三弹,Sora终于现身了!
才一上线,网页就已经瞬间挤爆。现在,所有新用户注册已经紧急暂停(不定期)。
奥特曼与Sora团队负责人Bill Peebles、研究副总Aditya Ramesh,以及Rohan Sahai、Joey Flynn开启了短短20分钟的在线直播。
相较于2月的原版Sora,他们今天带来了更高级的加速版Sora Turbo。
Sora能生成任意长宽比的视频,分辨率从480p到1080p,时长从5秒到20秒,还可以一次生成多个方向的视频版本,让我们选择其中最理想的一个。
包括文本到视频、图像到视频、视频到视频的功能。
这次,OpenAI着重介绍了Sora的几项功能:Remix(重混)、Re-cut(重新剪辑)、Storyboard(故事板)、Loop(循环)、Blend(混合)以及Style presets(风格预设)。
所有新功能一览:
等了大半年,Sora终于不再只是艺术家们的工具,现在所有的ChatGPT Plus/Pro用户皆可使用。
唯一区别是,使用限制不同:Plus用户每个月有50次生成额度,Pro用户可以获得500次快速生成额度(如果选择的分辨率更高,则次数更少)或是无限次慢速生成额度。
奥特曼本人表示,对我来说,Sora最令人兴奋的一点是,它使得与他人共作变得如此容易。这感觉像是一个有趣的全新事物!
它就像视频领域的GPT-1,现在还处于初期阶段,但我已经觉得这个信息流非常吸引人。
Sora团队研究者自豪地表示,突破视觉生成的界限,就是在机器学习和人机交互方面取得突破。
诚如这条读者评论所言:Sora之所以令人激动,不止是因为我们现在在哪里;更重要的,是想象我们的前进方向。可以确信,我们正在经历一个不平凡的年代。
在Library中,我们可以查看视频的所有版本,通过几种不同的方式对此处的视图进行切片。
现场,几位工作人员给我们实测了一把Sora的文生视频功能。
在输入「长毛猛犸象走过沙漠景观」的prompt,等待一段时间后,四个视频就出现了,我们可以选择最理想的那个。
只需要通过Remix描述希望视频怎样更改(无论是大的更改,还是希望背景中多一些风或者沙),接下来的工作就可以直接交给Sora。
故事版功能,可以让我们使用时间轴,在整个序列中产生一个包含多个动作的视频。
在其中,我们可以描述环境、角色、想要在特定点发生的动作。在prompt中我们写得越少,Sora就会填充得越多,反之亦然。
在时间轴的开头,我们可以直接设置场景:开始白鹤站着,然后将头进入水中,捉出一条鱼。
在几组动作中,需要给Sora足够的时间来连接这些想法
我们还可以使用Re-cut,将其中的片段剪切到新的故事板中,在留白的地方创建其余的片段,比如一个结尾。
上传一个灯塔的图像后,它被放入第一张卡片,然后Sora创建了一个全新的卡片。
厉害的地方来了!Sora已经看过了该图像,并且还添加进了关于我们希望图像怎样动的理解。
通过Blend功能,Sora甚至还能将两个场景完美地混到同一个视频中,可以理解为这某种维度上粉碎两个视频,然后组成一个新的。
研究者强调说,这是他此前在其他AI视频从未见过的功能!
利用Sora,我们不仅可以制作分辨率最高1080p、时长最长 20 秒的各种格式视频,并且还可以通过文本生成新内容,或者增强、重混和融合自己的素材。
此外,通过「精选」和「最新」来查看社区的创作,也可以为自己的新想法提供灵感。
这款模型基于DALL·E和GPT模型丰富的经验而打造,可以为用户提供更强大的讲故事和创意表达工具。
与GPT模型类似,Sora使用Transformer架构,解锁了卓越的扩展性能。
此外,它采用了扩散模型技术,从看似静态噪声的基础视频开始,逐步去除噪声,最终生成完整视频。
值得注意的是,Sora解决了视频生成中的一个关键挑战——主体一致性。
通过让模型同时预测多个帧,确保即使主体暂时消失在视野之外,也能保持一致性。
在数据标注上,Sora核心秘密武器便是DALL·E 3——为视觉训练数据生成高度详细的描述性标注。
因此,训练后的Sora能够以前所未有的精度,遵循用户在生成视频时的文本指令。
Sora的能力远远超出了简单文生视频,它还能将静态图变身动画,添加细节。
更令人兴奋地是,Sora作为理解和模拟真实世界的模型基础,被OpenAI视为迈向AGI的关键里程碑。
除了20分钟发布会上的内容,OpenAI在官网上,也放出了新功能的详细介绍和示例。
Storyboard(故事板)
带有关键帧的时间轴,是Sora非常亮眼的新功能。在个人时间轴上,可以组织和编辑独特的视频序列。