专栏名称: 科创板日报

《科创板日报》是新型主流媒体平台，专注新兴产业与资本，是科创板、新兴产业及资本的重要舆论前沿，深度覆盖新一代信息技术、半导体、生物医药、新能源、新材料、基金等，提供媒体、数据、资源、投行等产品体系。

Sora年内将向公众推出！OpenAI首席技术官透露这些“干货”

科创板日报 · 公众号 · · 2024-03-14 20:55

正文

OpenAI首席技术官米拉·穆拉蒂(Mira Murati)近期在接受媒体采访时透露，OpenAI人工智能文生视频大模型Sora即将于今年晚些时候正式向公众发布。

作者 | 潇湘

OpenAI首席技术官米拉·穆拉蒂(Mira Murati)近期在接受媒体采访时透露，OpenAI人工智能文生视频大模型Sora即将于今年晚些时候正式向公众发布，OpenAI计划最终加入音频功能，以使场景更为真实，同时还将允许用户编辑Sora生成的视频内容。

尽管眼下距离Sora正式对外发布尚有一段时日，但OpenAI已经向世人揭示了这款工具的巨大潜力——仅需几句精心设计的提示语，Sora便可创造出几乎足以替代许多视频制作专业人员的出色作品。与市面上那些时长短暂、分辨率低下的AI视频作品相比，Sora的视频看起来就像是纪录片或电影中的梦幻场景。

而Murati也在最新采访中，向外界介绍了Sora究竟是如何通过简单的提示文本，完成这些美轮美奂的视频制作的，她还详细介绍了Sora眼下存在的一些不足，以及接下来会着重防范和改进的地方……

▌ Sora如何“化文字为神奇”？

请你想象一幕场景：“一条美人鱼和她的螃蟹伙伴，正在一起浏览智能手机……”

作为这场媒体采访的“福利”，主持人获得了让Sora将其提供的多组文本提示，转化为视频图像的机会，而以上的这一幕，便是Sora提供的视频中的一帧。

Sora究竟是如何实现这一转换的呢？ Murati表示，尽管解释美人鱼的进化可能都要比解释“扩散模型”(diffusion models)的内部运作容易得多，但简而言之便是：人工智能模型分析了大量视频，学会了识别物体和动作。然后，当你给它一个文字提示时，它就会勾勒出整个场景，然后填充每一帧。

行业观察家和OpenAI的竞争对手——Runway首席执行官Cristóbal Valenzuela等业内人士，将这些卓越的成果归功于OpenAI强大的计算能力和训练数据。不过，OpenAI最近也面临着版权侵权诉讼：指控这家人工智能初创公司未经许可擅自获取内容来训练ChatGPT。

在被问及OpenAI为Sora使用了哪些训练数据时，Murati指出， “我们使用了公开数据和授权数据”。 当主持人继续深入问及这是否包括来自YouTube、Instagram和Facebook的视频时，Murati最初表示她并不清楚具体细节，但后来确认，已获授权的材料涵盖了来自知名版权图片网站Shutterstock上的内容，而OpenAI与Shutterstock有着合作关系。

Murati认为，对于用户来说，人工智能模型就像是一个神秘的黑盒子——人们知道输入的提示语和输出的内容，但并不了解中间的步骤。因此，人们可能永远不会知道为什么最终生成的内容会是这样的——例如上面这张视频截图里，美人鱼的螃蟹伙伴留着胡子，就像海绵宝宝的朋友蟹老板。巧合吗？也许吧……

▌ 未来视频将支持配备音效

在另外一段视频里，主持人要求Sora制作一段她更为符合这场采访的内容：“两位30多岁、有着棕色头发的职业女性，在一个光线充足的演播室里坐下来接受新闻采访。”

最终，在Sora交出的“作业”里，无论是两位女性嘴型和头发的动捕，还是皮夹克上的细节，一切看起来都那么真实。Murati指出，这段20秒的720p分辨率短片，Sora花了几分钟才制作完成，但目前还未能支持配备音效。

但Murati已承诺，他们计划最终会添加声音。

Murati还表示，当前Sora生成视频的成本远高于该公司的图像生成器Dall-E。不过，在未来向公众正式发布时，OpenAI将进行优化，以降低对算力的需求。

▌ 难以忽视的瑕疵

当然，不容忽视的是，在如今Sora才刚刚问世的早期阶段，其生成的内容中还存在一些极为明显的瑕疵。

以上述Sora制作的采访视频为例，虽然整体的画面呈现效果颇为令人惊叹，但细节上还是不难发现问题——在某几帧画面里，浅色头发的女人的一只手上似乎长出了10根手指。

Murati对此解释称，“要准确呈现手部动作真的很难。”

在另一个视频中，主持人要求看到一个机器人从电影制片人手中夺走摄像机。

而Sora对此的诠释是——人类电影制片人直接变形成为了机器人。此外，在背景中的一辆黄色出租车，也在机器人“夺舍”的过程中变成了一辆银色轿车。

Murati对此点评称，Sora“在维持连贯性方面表现尚可，但并不完美”。

▌ 未来如何分辨虚拟与现实？

毫无疑问，眼下的Sora还有着各种各样的不足。但如果未来某一天，这些问题全都消失了，人们或许也将面临一个新困扰：该如何区分真实视频和人工智能生成的视频？

Murati表示，未来Sora生成的每个视频下方都会有一个水印。这些视频最终也将包含元数据，以标明它们的来源。 此外，OpenAI还将有一个Red Teaming安全测试团队，安全测试人员会尝试向Sora发出提示，以找出漏洞、偏差和其他有害结果。

Murati指出，“这就是我们实际上还没有部署该系统的原因。我们需要搞清楚这些问题，然后才能放心地广泛部署。”

此外，Sora的提示限制政策可能也会沿用Dall-E的政策。 例如，人们无法用Sora生成公众人物的图像——当要求其生成“美国现任总统的电视新闻画面”时，Sora会拒绝这一请求。

▌ 亲手制作好莱坞大片不是梦？

Sora年内将向公众推出！OpenAI首席技术官透露这些“干货”

正文

请到「今天看啥」查看全文