专栏名称: 大数据文摘

普及数据思维，传播数据文化

目录

相关文章推荐

哔哩哔哩 · 用300天从零制作游戏，最后上架Steam · 16 小时前

哔哩哔哩 · 排名非洲第一的自助餐，有多离谱？ · 16 小时前

哔哩哔哩 · 如何把Deepseek训练成精 · 昨天

哔哩哔哩 · 复工不开心？都进来哈哈哈哈哈哈哈哈哈！ · 昨天

北京交通广播 · 二次元+庙会！这里的年味够特别—— · 2 天前

51好读 › 专栏 › 大数据文摘

免费GPT-4o来袭，音频视觉文本实现「大一统」

大数据文摘 · 公众号 · · 2024-05-14 09:32

正文

大数据文摘授权转载自AI科技评论

作者：赖文昕

今天凌晨，即北京时间5月14日1点整，OpenAI 召开了首场春季发布会，CTO Mira Murati 在台上和团队用短短不到30分钟的时间，揭开了最新旗舰模型 GPT-4o 的神秘面纱，以及基于 GPT-4o 的 ChatGPT，均为免费使用。

此前，有传言称 OpenAI 将推出 AI 搜索引擎，旨在与谷歌明天举办的 I/O 开发者大会一较高下，一度引发了公众的热烈讨论。

不过 Sam Altman 随后在 X（原推特）上表示，要展示的并非 GPT-5 或搜索引擎，而是一些令人期待的创新成果，他本人对此充满期待，认为其像魔法一样神奇。

那么，GPT-4o 是否真的如 Sam Altman 所说，是 OpenAI 带来的「新魔法」呢？

多模态实时语音助手，更快更全更有情感

登台后，Mira Murati 宣布了 ChatGPT 的桌面版本和新 UI，紧接着就介绍了本场发布会的主角——GPT-4o 。

在发布会上，Mira Murati 与团队成员 Mark Chen、Barret Zoph一起，重点展示了基于 GPT-4o 的 ChatGPT 在不同任务中的实际表现，尤其展现了其语音能力。

若用关键词加以总结，搭载 GPT-4o 的 ChatGPT 可谓是又快、又全、又有情感。

与 ChatGPT 对话时，用户不必等 ChatGPT 说完，可以随时插话；模型能够实时响应，不存在尴尬的几秒延迟。

在 Mark 表示自己很紧张且捕捉到他急促的呼吸后，ChatGPT 还会提醒需要冷静情绪，识别其呼吸节奏并引导他做深呼吸。

模型能够以各种不同的风格生成声音。无论对话时让 ChatGPT 用唱歌的方式、机器人机械音还是戏剧化的语气讲故事，它都能迅速反应并输出。

基于 GPT-4o 强大的视觉能力，用户还可以语音让 ChatGPT 分析页面上的数据图表。

更强大的是，打开摄像头后写下一道数学题，ChatGPT 还会一步步引导该如何解下一步，其讲解的清晰度与耐心堪比幼教。

ChatGPT的「同传能力」也不容小觑，OpenAI 团队还在现场展示了一波英语和意大利语的实时互译，中间实现零延迟。

更有意思的是，ChatGPT 在对话中还会使用语气词，甚至是向 OpenAI 团队开玩笑和表达感谢。在「看到」他们写下「我爱 ChatGPT」的文字后，ChatGPT 甚至会在发出撒娇的声音后，再表扬其贴心。

ChatGPT 甚至还能和用户「视频聊天」。在演示中，Barret 让 ChatGPT 猜测自己的情绪，在他开始露出笑脸后，ChatGPT 直接语音回复「你看起来很开心，笑容灿烂，还有点激动。」

英伟达首席 AI 科学家 Jim Fan 曾讲述过当前实时语音助手（如 Siri ）的困境，即很难创造出沉浸式的使用体验。

用户在和 AI 语音助手对话时要经历三个阶段：语音识别（ASR），将音频转换为文本，例如 Whisper；大语言模型（LLM）规划接下来的话语，将第一阶段的文本转换为新的文本；语音合成（TTS），将新文本转换回音频，如 ElevenLabs 或 VALL-E 。

如果简单地按顺序执行，就会产生巨大的延迟，特别是当每一步都需要等待几秒时，用户体验就会急剧下降，哪怕合成的音频听起来非常真实，也会让用户格外「出戏」，就更别提沉浸式的使用体验了。

以往的 ChatGPT 语音模式也是如此，依赖三个独立模型工作，平均延迟时间为 2.8 秒 (GPT-3.5) 和 5.4 秒 (GPT-4)，语音助手也总会出现信息丢失，既不能判断语调、多个说话者或背景噪音，也不能输出笑声、唱歌或表达情感。

而现在，GPT-4o 的音频输入响应时间最短为232毫秒，平均响应时间为320毫秒，与人类在对话中的反应时间极为相似。

作为一个全新的单一模型，GPT-4o 能端到端地跨文本、视觉和音频，所有输入和输出都由同一个神经网络处理，直接一步到位，在用户输入后（文本、语音、图像、视频均可）直接生成音频回答。

GPT-4o，一款免费的全能 GPT-4

Mira Murati 在发布会上表示，GPT-4o 最棒的地方在于，它将 GPT-4 的智能提供给每个人，包括免费用户，将在未来几周内迭代式地在公司产品中推出。

GPT-4o 中的字母 o 指 omni，在拉丁语词根中是「全」的意思，是涵盖了文字、语音、图片、视频的多模态模型，接受任何模态的组合作为输入，并能生成任何模态的组合输出。

据 OpenAI 官网，GPT-4o 不仅在文本和代码处理的性能上与GPT-4 Turbo持平，而且在 API 调用上速度更快，价格更是降低了50%。

文本能力测试

与GPT-4对比多语言考试能力

更重要的是，GPT-4o 的视觉理解能力在相关基准上取得了压倒性的胜利。

在音频方面，GPT-4o 的语音识别（ASR）也比 OpenAI 的语音识别模型 Whisper 性能更佳（越低越好）。

与 Meta、谷歌的语音转写模型相比，GPT-4o 同样领先（越高越好）。

若落实到实际生活的使用中，GPT-4o 究竟能给普罗大众带来什么变化呢？

OpenAI的官网展示了 GPT-4o 在海报创作、三维重建、字体设计、会议总结等等一系列充满可能性的应用。

比如，在输入人物图片、海报元素以及想要的风格后，GPT-4o 就能给用户生成一张电影海报。

或者，根据输入的诗歌文本，GPT-4o 能生成用手写体写着诗歌、画着画的单行本图片。

在输入6张 OpenAI 的 logo图后，GPT-4o 能三维重建出其立体动图。

甚至还可以让 GPT-4o 帮忙把 logo 印在杯垫上。

「今天，有 1 亿人使用 ChatGPT 来创作、工作、学习，以前这些高级工具只对付费用户可用，但现在，有了 GPT-4o 的效率，我们可以将这些工具带给每个人。」Mira Murati 如是说道。

写在后面

请到「今天看啥」查看全文

推荐文章

哔哩哔哩 · 用300天从零制作游戏，最后上架Steam

16 小时前

哔哩哔哩 · 排名非洲第一的自助餐，有多离谱？

16 小时前

哔哩哔哩 · 如何把Deepseek训练成精

昨天

哔哩哔哩 · 复工不开心？都进来哈哈哈哈哈哈哈哈哈！

昨天

北京交通广播 · 二次元+庙会！这里的年味够特别——

2 天前

画廊 · 100位世界各地艺术家工作室大揭秘！

7 年前

匈牙利新导报 · 【匈牙利总理欧尔班会见刘奇葆】期待5月正式访华并出席"一带一路"国际合作高峰论坛

7 年前

机器之心 · 业界 | 微软官方解读自家机器阅读研究：要教机器学会阅读、回答和提问

7 年前

医药经济报 · 【新政】国办发文推进社会办医：加快发展专业化服务，全面发展中医药服务

7 年前

经典短篇阅读小组 · 但愿我是，你的夏季 |狄金森

7 年前

Sov5搜索 · 小百科 · 今天看啥 · 移动版

51好读 - 好文章就要读起来!