ChatGPT App重大进化！能看能听还会说，多模态模型细节同时公布

本文转自微信公众号“量子位”，作者：关注前沿科技。

梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

OpenAI连发两则重磅消息，首先 ChatGPT 可以 看、听、说 了。

新版ChatGPT开启一种 更直观的交互方式 ，可以向AI展示正在谈论的内容。

比如拍一张照片，询问如何调整自行车座椅高度。

官方还给出另一个实用场景思路：打开冰箱拍一张照片，询问AI晚餐可以吃什么，并生成完整菜谱。

更新将在接下来的 两周内 向ChatGPT Plus订阅用户和企业版用户推出， iOS 和安卓 都支持 。

与此同时，多模态版GPT-4V模型更多细节也一并放出。

其中最令人惊讶的是，多模态版早在 2022年3月就训练完了 ……

看到这里，有网友灵魂发问：有多少创业公司在刚刚5分钟之内死掉了？

看听说皆备，全新交互方式

更新后的ChatGPT移动APP里，可以直接拍照上传，并针对照片中的内容提出问题。

比如“如何调整自行车座椅高度”，ChatGPT会给出详细步骤。

如果你完全不熟悉自行车结构也没关系，还可以圈出照片的一部分问ChatGPT“说的是这个吗？”。

就像在现实世界中用手给别人指一个东西一样。

不知道用什么工具，甚至可以把工具箱打开拍给ChatGPT，它不光能指出需要的工具在左边，连标签上的文字也能看懂。

提前得到使用资格的用户也分享了一些测试结果。

可以分析自动化工作流程图。

但是没有认出一张剧照具体出自哪部电影。

△ 认出的朋友欢迎在评论区回复

语音部分的演示还是上周DALL·E 3演示的联动彩蛋。