专栏名称: 机器之心

专业的人工智能媒体和产业服务平台

实测昆仑万维对话AI「Skyo」，会读诗、知晓雷军摆拍

机器之心 · 公众号 · AI · 2024-11-20 12:20

正文

机器之心原创

编辑：杜伟、大盘鸡

算起来，距离 5 月 14 日 OpenAI 发布 GPT-4o 高级语音模式已经过去了半年时间。在这期间，AI 实时语音对话已经成为了有能力大厂秀肌肉、拼实力的新战场。

不过，由于语音大模型在训练、部署、交互等层面相较于语言、图像大模型更难，因此这个赛道的玩家并不多。可以看到，目前唯一有能力抗衡 GPT-4o 的恐怕只有谷歌的 Gemini Live 了。

如今，这对「冤家」都在忙着扩大用户生态。OpenAI 向各类付费用户开放了 GPT-4o 语音功能，并与苹果合作接入到了 Siri 中。谷歌先是允许所有安卓用户访问 Gemini Live 语音功能，并于近日支持 iOS 用户与该语音助手交流。

与此同时，国内一些厂商陆续推出了类似的实时语音对话大模型及应用，比如智谱、科大讯飞等，填补了一些空白。如今，这个赛道又迎来了一个有实力的新玩家 —— 它就是昆仑万维开发的 Skyo 实时语音对话助手。

声音听起来还不错吧！Skyo 内置了非常清亮、爽朗的男声。

Skyo 基于背后的天工大模型 4.0 4o 版（Skywork 4o）打造。从名称上看，Skyo 中的「o」同样代表了 omni 的意思，并落在语音对话场景，直接对标了 GPT-4o。从定位和功能上看，作为一个智能语音互动产品，Skyo 具备了快速响应、实时打断、情感化反应、真实内容互动和个性化声音定制等多样化的功能。

可以说，用户想要在 AI 语音对话中体验的场景和功能，Skyo 基本上都能 hold，还针对当前 AI 语音助手存在的一些痛点进行了优化。

实时对话 AI

一要准、二要快

与传统语音助手的主要区别在于，基于大模型开发的 AI 实时语音对话助手能够应对更复杂的语境、执行更个性化的任务，并开始从「工具」的属性过渡到「人类伴侣」。

自 GPT-4o 之后，语音交互场景的 AI 具备了前所未有的感知能力，在更智能化、更多面手之外，不仅响应延迟明显降低了，还能准确读懂用户的情感语调，如兴奋、高兴或悲伤，并以逼真的方式模仿和回应。

不过，随着更多用户体验到 GPT-4o 语音功能，它的一些缺点陆续显露了出来，比如不擅长识别自然停顿、无法准确响应要求的话题等。

同样地，此后出现的一系列对标 GPT-4o 的产品，如谷歌 Gemini Live、法国开源 AI 研究实验室 Kyutai 的 Moshi 等，虽然都宣称要打造自然流畅的 AI 对话，但从用户反馈来看，依然存在着一些直接影响对话体验的短板，比如可用性差、中断频繁和延迟严重等。

当然，面对 AI 实时语音对话助手的常见通病，Skyo 也需要尽力去克服。究竟效果怎么样呢？我们还是得看它的现场表现。

一手实测

会念诗、还拿捏住了拟人化

在与 Skyo 来了场面对面的交谈后，我们收获了一些小惊喜。

首先，我们来咨询 Skyo 一些健康常识问题，他回答的比较合理、全面，也有侧重性。当中，我们在他没有回答完上个问题的时候，就开始了下个问题，他衔接得挺好。这说明了 Skyo 能够轻松应对用户打断场景，并在两个问题之间顺滑地切换。

我们还发现，Skyo 的回答中出现了类似于人类日常交谈中常用到的「呃」，这代表了他是在思考后才回答的。语气也不像机器人那样机械、僵硬、冷冰冰，会出现「哎呀」等感叹词，拟人化属性很强。

其次，情感化反应已经成为现阶段语音交互 AI 追求的主要目标之一，在对话中要有能力识别出用户的情绪波动并给予准确的反馈。

Skyo 在这方面做得也不错，他能够理解用户情绪，并使对话更具人性化。当我们跟他说一些烦心事时，他会安慰我们，情绪价值给得很足，还给出了一些建议。

我们接着让 Skyo 讲个小笑话，结果「冷翻了全场」。

既然他不擅长讲笑话，那就换个最近网络上的热门话题，问他知不知道小米雷军在汽车工厂摆拍，看起来他对这件趣事挺门清的。

再让 Skyo 对最近李子柒的回归做一个评价，从结果来看，他的语言组织和总结能力还是不错的。如果放在现实世界中，他写作文应该是把好手。

这同时也意味着 Skyo 具备了一定的实时资讯获知和知识拓展能力，借助外部知识库来强化自己。

最后，让 Skyo 切换成英姿飒爽的女声，并让她念了一首诗。她第一时间选择了李白的《静夜思》，看样子是有点浪漫基因在身上的。

再以男声朗诵徐志摩的《再别康桥》，感情充沛，节奏把握得也很好。

这样一个男女声自由切换、会安慰人、会念诗、还能知晓天下事的国产 AI 聊天搭子，如何炼成的呢？

以上 Skyo 各项能力的实现要归功于其采用了先进的端到端实时语音建模技术，其中框架链路自研并保持业界领先。这样一来，在高精度理解用户语音输入内容（即听得准）的基础上，做出比较快速的响应（即答得快），响应时间一般在 1 秒左右。

另外，得益于昆仑万维在自研语音技术框架、大模型训练以及数据积累上的厚积薄发，Skyo 还能够在高强度对话中保持稳定性和流畅性，并在情绪表达、实时交互等方面更加契合用户需求。

不过，我们也得承认，现阶段 Skyo 的功能并不完善，在回复的过程中偶尔也会出现声音的扭曲失真，但这都是进化路上所要经历的。

未来，Skyo 将继续修炼自己，并发力多语言支持、主动交流、音乐生成等更丰富的功能。我们可以狠狠期待一波了。

当 Scaling Law 放缓

多模态 AI 应用势在必行

最近，Scaling Law「撞墙」的消息开始在 AI 社区传播，领域顶级玩家 OpenAI、谷歌和 Anthropic 均被曝出在开发更先进模型时遇到了不小的困难，比如 OpenAI 内部代号「Orion」的新模型没有达到预期训练效果。

虽然之后这一观点遭到了一些人的驳斥，但不可否认的是，随着互联网高质量数据逐渐匮乏、主流大模型训练没有跳出 Transformer 架构等因素的影响，大模型开发速度的放缓似乎是必然的。

奥特曼：「墙」不存在。

相反，基于大模型的 AI 应用正在走向百花齐放，比如搜索引擎、音乐生成、语音交互、智能体，可以拓展生成式 AI 的落地场景并重塑人机交互范式，带来多样化 AI 体验和生产力提升。因此，在保证基座模型性能「不掉队」的前提下，形成完整的应用矩阵，对于想要持续站稳脚跟的厂商来说尤为重要。

在这方面，昆仑万维可以说布局较早且合理。一方面，自研天工系列基座大模型已经发展到 4.0 版本，性能处于全球领先水平。另一方面，构建了清晰、多元的 AI 业务矩阵，在天工 AI 平台集成了 AI 搜索、AI 文档-音视频分析、AI 写作、AI 音乐、AI 图片生成等主流 AIGC 应用。模型与应用两手抓，两手都要硬。

此次，Skyo 实时语音对话助手是昆仑万维抢占 AI 语音交互应用市场、布局多模态的又一举措。与不久之前上线的天工 AI 高级搜索功能一样，也将成为构筑全栈式大模型能力堆栈的重要一环。

我们了解到，Skyo 实时语音对话助手将于近期上线天工 App，并接入天工搜索以获取更准确的实时资讯。可以预见，此举将进一步丰富天工平台的功能，让用户打开手机就能体验到 AI 原生实时对话的乐趣。

回望年初，昆仑万维提出了「实现通用人工智能，让每个人更好地塑造和表达自我」的全新使命。为此，该公司以天工 AI 平台为主阵地，对其上的 AI 应用不断进行功能上的迭代更新，深拓大模型能力释放出口，将新世代的人机交互贯穿文本、图像、语音等更全模态。

未来，昆仑万维还将继续发力实时图像与视频理解等领域，并形成开箱即用的 AI 应用，从而在创新技术进步、全面满足用户 AIGC 需求的过程中加快迈向 AGI 的步伐。

转载请联系本公众号获得授权

投稿或寻求报道：[email protected]