专栏名称: 玩转VSCode
编程开发,业界资讯,以及 VS Code 的热门文章、使用技巧、插件推荐、插件开发攻略等,全部都可以在这里找到。带你玩转 VS Code!
目录
相关文章推荐
51好读  ›  专栏  ›  玩转VSCode

Sora火爆上线系统秒瘫,奥特曼直播第三更网友震翻!20秒1080p拍大片再近AGI

玩转VSCode  · 公众号  ·  · 2024-12-10 07:31

正文



新智元报道

编辑:编辑部 HYZ
【导读】 「鸽」了整整一年的Sora,终于上线了!OpenAI 20分钟的演示展示了视频二合一等多项炸裂的新功能。奥特曼直言:Sora是AGI路线图上的重要里程碑。现在系统已经被网友们挤爆了,新用户间歇性暂停注册。

OpenAI直播第三弹,Sora终于现身了!

才一上线,网页就已经瞬间挤爆。现在,所有新用户注册已经紧急暂停(不定期)。

奥特曼与Sora团队负责人Bill Peebles、研究副总Aditya Ramesh,以及Rohan Sahai、Joey Flynn开启了短短20分钟的在线直播。

相较于2月的原版Sora,他们今天带来了更高级的加速版Sora Turbo。

Sora能生成任意长宽比的视频,分辨率从480p到1080p,时长从5秒到20秒,还可以一次生成多个方向的视频版本,让我们选择其中最理想的一个。

包括文本到视频、图像到视频、视频到视频的功能。

这次,OpenAI着重介绍了Sora的几项功能:Remix(重混)、Re-cut(重新剪辑)、Storyboard(故事板)、Loop(循环)、Blend(混合)以及Style presets(风格预设)。

所有新功能一览:

OpenAI专为Sora设计的全新UI
左右滑动查看
等了大半年,Sora终于不再只是艺术家们的工具,现在所有的ChatGPT Plus/Pro用户皆可使用。
唯一区别是,使用限制不同:Plus用户每个月有50次生成额度,Pro用户可以获得500次快速生成额度(如果选择的分辨率更高,则次数更少)或是无限次慢速生成额度。
奥特曼本人表示,对我来说,Sora最令人兴奋的一点是,它使得与他人共作变得如此容易。这感觉像是一个有趣的全新事物!
它就像视频领域的GPT-1,现在还处于初期阶段,但我已经觉得这个信息流非常吸引人。
Sora团队研究者自豪地表示,突破视觉生成的界限,就是在机器学习和人机交互方面取得突破。
诚如这条读者评论所言:Sora之所以令人激动,不止是因为我们现在在哪里;更重要的,是想象我们的前进方向。可以确信,我们正在经历一个不平凡的年代。

直播20分钟,全程高能


在Library中,我们可以查看视频的所有版本,通过几种不同的方式对此处的视图进行切片。
现场,几位工作人员给我们实测了一把Sora的文生视频功能。
在输入「长毛猛犸象走过沙漠景观」的prompt,等待一段时间后,四个视频就出现了,我们可以选择最理想的那个。
甚至,我们可以把猛犸象变成「机械猛犸」。
只需要通过Remix描述希望视频怎样更改(无论是大的更改,还是希望背景中多一些风或者沙),接下来的工作就可以直接交给Sora。
故事版功能,可以让我们使用时间轴,在整个序列中产生一个包含多个动作的视频。
在其中,我们可以描述环境、角色、想要在特定点发生的动作。在prompt中我们写得越少,Sora就会填充得越多,反之亦然。
比如,我们想要一个美丽白鹤站在小溪里的场景。
在时间轴的开头,我们可以直接设置场景:开始白鹤站着,然后将头进入水中,捉出一条鱼。

在几组动作中,需要给Sora足够的时间来连接这些想法
可以看到,Sora非常准确地理解了研究者的想法。
我们还可以使用Re-cut,将其中的片段剪切到新的故事板中,在留白的地方创建其余的片段,比如一个结尾。
接下来是另一个功能。
上传一个灯塔的图像后,它被放入第一张卡片,然后Sora创建了一个全新的卡片。
厉害的地方来了!Sora已经看过了该图像,并且还添加进了关于我们希望图像怎样动的理解。
最终的视频生成效果果然非常好。
最后,研究者再给我们展示了一个大惊喜。
通过Blend功能,Sora甚至还能将两个场景完美地混到同一个视频中,可以理解为这某种维度上粉碎两个视频,然后组成一个新的。
研究者强调说,这是他此前在其他AI视频从未见过的功能!
比如,把猛犸象和机器象混合。

Sora功能全面介绍

足见,Sora具备了令人印象深刻的视频生成能力。
利用Sora,我们不仅可以制作分辨率最高1080p、时长最长 20 秒的各种格式视频,并且还可以通过文本生成新内容,或者增强、重混和融合自己的素材。
此外,通过「精选」和「最新」来查看社区的创作,也可以为自己的新想法提供灵感。
这款模型基于DALL·E和GPT模型丰富的经验而打造,可以为用户提供更强大的讲故事和创意表达工具。
与GPT模型类似,Sora使用Transformer架构,解锁了卓越的扩展性能。
此外,它采用了扩散模型技术,从看似静态噪声的基础视频开始,逐步去除噪声,最终生成完整视频。
值得注意的是,Sora解决了视频生成中的一个关键挑战——主体一致性。
通过让模型同时预测多个帧,确保即使主体暂时消失在视野之外,也能保持一致性。
在数据标注上,Sora核心秘密武器便是DALL·E 3——为视觉训练数据生成高度详细的描述性标注。
因此,训练后的Sora能够以前所未有的精度,遵循用户在生成视频时的文本指令。
Sora的能力远远超出了简单文生视频,它还能将静态图变身动画,添加细节。
它还可以扩展现有视频,或填充缺失的帧。
更令人兴奋地是,Sora作为理解和模拟真实世界的模型基础,被OpenAI视为迈向AGI的关键里程碑。
除了20分钟发布会上的内容,OpenAI在官网上,也放出了新功能的详细介绍和示例。

Storyboard(故事板)

带有关键帧的时间轴,是Sora非常亮眼的新功能。在个人时间轴上,可以组织和编辑独特的视频序列。

注意:不要上传带人物的图像,否则无法生成视频







请到「今天看啥」查看全文