讯飞星火爆震撼大招，七项第一11个首发！年度最逼真虚拟人萌翻全场，多模态抢先GPT-4o

---

新智元报道

刚刚开幕的科大讯飞全球1024开发者节，实在是亮点满满。7项第一，11个首发，给了业内亿点点震撼。

当初GPT-4o的多模态交互demo虽然艳惊四座，但至今仍尚未落地应用。没想到，这一步居然被国产巨头抢先了。

科大讯飞研究院院长刘聪博士直接现场怼脸给我们来了一段演示，把两个人偶摆面前，直接问大模型：它们是谁？

大模型没有迟疑，立刻作答：「左边是孙悟空，穿着金色战甲，手持金箍棒，哇塞，看起来好威武啊！右边那个穿红白战衣的是奥特曼。这两个角色都是正义的代表。」

随后的展示中，两个人偶不断变动作，不断上难度，星火大模型却始终对答如流，回答合乎逻辑，语感同真人一般，直接赢下全场掌声。

万物互联时代，AI的UI应该是什么样子？

科大讯飞表示：远场高噪、多人说话、多语种、多方言、多模态、超拟人、个性化这些元素的组合，才是真正的通用人工智能时代应该有的多模态人机交互！

大会上，也正式发布了讯飞星火4.0 Turbo。

作为首个基于全国产算力训练的全面开放大模型，它在国产大模型中也取得了综合能力第一的好成绩。在9项国际主流测试集中，它都取得了第一。

首次发布的星火多语言大模型，直接给世界提供了第二种选择！

而在应用上，讯飞星火也引领了时代，取得了大模型中标第一、大模型赋能智能硬件销量第一、开发者生态规模第一等七项第一的成绩。

在1024现场，超拟人数字人能力正式发布！

科大讯飞首发的多模态视觉交互和超拟人虚拟人交互，可谓是现场最震撼的底座升级看点之一。

要知道，这种语音、视觉、虚拟人交互的「三合一」，属于业内首发。在多模态技术路线中，科大讯飞俨然已处于业内领先地位。

多模态视觉

这次，讯飞星火从语音交互拓展到了实时音视频流的动态多模交互。

值得一提的是， 语音交互 在拟人度和情感度再度升级，并且增加了更多语音情感种类和人设角色。

在互动中，模型时而化身孙悟空，时而化身小猪佩奇，妙语连珠惟妙惟肖。

随后现场的怼脸演示，更是震撼了全场观众。抢先GPT-4o落地的人机交互体验，竟被打造得如此极致！

而全新的视觉能力，则能轻松应对两个玩具不断变换姿势。

比如下面这个画面，去问大模型：你看它们在干什么？

它会回答：「孙悟空和奥特曼看起来正在切磋武艺，孙悟空举起手中的金箍棒，向奥特曼挥去，奥特曼抬起手臂准备反击，你猜猜谁会赢？」

下一回合，两个人偶又变样了，这次的画面怎么样？

大模型回答：「孙悟空的金箍棒打到了奥特曼的头上，奥特曼正发出光线，不是说好友谊第一比赛第二的吗，看来他俩是不分胜负不罢休了！」

接下来上场了一只怪兽，大模型也完全理解了画面的意思：「看样子孙悟空和奥特曼联手打败了怪兽，奥特曼正在高举着手臂庆祝胜利呢！」

而在旅行购物中，大模型的视觉交互功能也为我们提供了极大的便利。

比如直接提问：小瓶的这个是什么？

它直接告诉我们：这是雪花秀的人参眼霜。还会介绍相关细节，比如富含珍贵的人参提取物，能恢复眼部肌肤活力，减少细纹、抗衰。

如果直接告诉它想买大的，它就会告诉我们：大的并不是眼霜，而是同系列的人参面霜。

另外，它还能认出酒水品牌，比如左边的这瓶是经典XO版，右边的两瓶都是Club版，最右边的还是龙年限量款。

如果买一瓶带去朋友聚会，哪一瓶合适呢？它会告诉我们：Club版的酒龄较短，口味多元，更适合朋友间的小聚。

甚至在现场，它直接就识别出了讲台旁边的花是龙船花，还能告诉我们好不好养。

总之，无论是出门购物、下馆子，还是亲子绘本伴读、游戏互动，讯飞星火的多模态功能都给我们提供了丰富迅捷的体验，「哪里不会拍哪里」！

为何模型的多模态互动体验如此丝滑？

这是因为，融合了音频、视频两种多模态信息之后，AI在复杂场景下对情绪感知、事件识别、意图理解的准确率得到了大幅提升。

因为有了场景、文字、物体、姿态、着装等信息，情境感知会更全面；而交互中增添了语音、手势、行为、情绪等元素后，模型对任务的理解也会更精准。

超拟人数字人

上面的实时多模交互，除了会改变我们的游戏、学习、购物、美食、绘本伴读等场景，更重要的意义，则是让具身智能机器人、汽车等领域实现全新的人机交互升级。

很多原来做不成的事儿，如今都能接近实现。

不过，单纯的语音交互显然不太过瘾，为此，科大讯飞率先实现了业界首个语义贯穿的「口唇-表情-动作」的超拟人数字人。

首先，自然的情感贯穿，能让数字人根据上下文实时调整表情，不再是一成不变。

基于大模型的多模态交互技术，直接贯穿了文本、语音、数字人，让数字人的表情、动作、声音和情感更统一、更真实。

其次，超拟人数字人并非采用传统的预设动作，而是采用动态生成动作。

通过解析数字人语音中的情感、韵律以及文本语义信息，ta的躯干和四肢动作就能与语音内容自然匹配，更符合交互情境。

总之，在这个过程中，虚拟人所有表情动作都是整体化、语义贯穿的，直接由LLM统一了文本、语音和表情跨模态的语义一致性。

另外，系统还具有实时响应能力，讯飞的动作表征抽取技术，能快速生成数字人的表情和动作，让交互更流畅。

现场，科大讯飞研究院院长刘聪博士直接来了一段演示。

和他对话的虚拟人，无论是脸上的细微表情，还是时不时眨眼和说话时的动作，已经无限逼近真人。

在刘聪的要求下，ta给现场观众卖了个萌，当听说有几百万观众正在看自己，更是惊得瞬间睁圆了眼睛。

一句话一张图，「克隆」20年前的自己

接下来的彩蛋就更有趣了。

在讯飞星火APP的相应助手中，上传任意一张照片就能快速生成超拟人数字人了。刘聪直接给我们现场演示。

首先，他创建了一个自己的数字分身。

在编辑界面，可以很方便地定义这个「自己」的形象、声音、人设等等。

颇具亮点的是，在这个过程中我们可以通过「一句话」复刻声音。目前，科大讯飞已经实现了4.2分的水平。与之对应的，普通人是4.0分，播音员为5.0分。

不过，刘聪对这个数字分身不太满意，觉得ta有点沧桑了，于是替换成了一个更年轻版的自己。

现在，他开始和20年前的自己聊天。

两人探讨了现在的大模型技术后，刘聪告诉ta：我是20年后的你，你有什么问题想问我吗？

ta问出了藏在心底的那个问题：我每天都追的女同学，到底追到了没有？

刘聪笑着说：那还用说，她现在是咱家女神了！

话不多说，在讯飞星火APP「新建智能体」里，上传一张照片，就可以快速生成超拟人数字人了。

赶紧来体验吧。

这次大会上，科大讯飞还首发了业界领先的「星火多语言大模型」。

除了中英，还首批支持8个新语种，它们分别是：俄语、日语、阿语、韩语、法语、西语、葡语、德语。

星火多语言大模型整体性能，已经达到了GPT-4o 96%的水平，与去年面世的星火3.0实力相当。

而且部分语种（英语、俄语、日语），在通用能力上甚至超越了GPT-4o。

大模型就像PC、互联网诞生一样，它会成为社会最基本的底层能力，会彻底改变科研范式和产业格局。

如果LLM只会说中文，就只能「封锁」在国内有效应用中。

在有限的算力下，科大讯飞团队经过10个月的努力，加大了在多语言模型的研发。不仅提升了算法，还用最小数据量训出了最优的模型。

语音识别首次实现全国地级市方言全覆盖

这一突破不仅为全球提供了「第二种选择」，更彰显了中国在人工智能领域的创新能力。

借助多语言大模型的能力，在讯飞办公本上，一段日语录音能够迅速变成摘要。

来京旅游的外国游客，还可以了解到豆汁为什么难喝，以及北京特产文化特色。

翻译机不仅是你的翻译官，还可以成为你的AI导游。

今天，星火多语言大模型将以API形式，向全球开发者、所有行业伙伴正式开放。

大模型底座能力，决定了行业和专业模型能力。

讯飞星火大模型自诞生之初，就确定了「1+N」的战略布局，解决千行百业的刚需，助推产业的全面升级。

这次，1024开发者日上，讯飞星火大模型应用再次交卷！

在「赋能科研应用」、「智能汽车市场」、「教育医疗市场」、「大模型开发者生态」、「工业大模型」、「智能硬件市场」、「央国企中标」七大领域中，夺得第一。

赋能科研应用第一

今年诺贝尔奖的两大奖项，颁给了AI+领域的科学家们，再一次证明了AI能够变革科研范式，并成为科技界的共识和梦想。

AI在赋能科研中，需要走向三个台阶：从科研基础工作提效，到科学任务建模，再到科研方案设计，一步一步跃升。

AI for Science决定了中国科技的发展速度。毋庸置疑，科大讯飞也将AI赋能科研作为重要使命。

星火科研助手2.0发布一个月以来，科研调用效率提高了10倍，论文研究有效率和学术写作采纳率提升90%。

这一次，又进一步升级论文预审核和论文推荐的能力。

还有编程教学应用平台「马上」，让学生主动提问题增加1倍，教师辅导工作量减少了80%。

在真正用AI助力科研攻关中，科大讯飞联合团队在生物科技、科学装置方面，取得了一些成果。

讯飞联合中科大生命学院团队打造了蛋白质主链设计AI，原来所需6的月时间，大大压缩到1天！

他们已经设计出48个自然界不存在的全新蛋白质，研究论文刊登Nature子刊。

还有联合中科院等离子所团队，用LLM助力托克马克离子体控制，有望实现高效的人造小太阳。

在化学/化工领域，科学知识推演大模型已经在联合攻关。

总之，在中国今天赋能AI for Science领域中，科大讯飞是当之无愧的NO.1。

智能汽车市场第一

星火多语言大模型通用底座能力提升同时，已经在汽车、家电、办公、翻译等典型领域中，得到切实应用并碾压了GPT-4o。

在实际应用中，多语种模型在助力中国汽车出海方面发挥了重要作用。

中国出海TOP 10车企中，有8家企业都与科大讯飞达成了合作。出海500多万辆汽车，多语种技术大多来自科大讯飞。

目前，科大讯飞智能语音交互的装配量，超过6000万辆汽车。

大模型和多语言大模型双层buff加持，汽车变得更加智能了。

你可以用不同语言，让它帮你打开空调、来首音乐、咨询实时新闻等等。

另外，科大讯飞还首次发布了汽车端侧星火大模型。以后，开车即便是经过隧道、信号好不区域，也能本地调用大模型能力了。

教育医疗市场第一

科大讯飞一直以来都有一种教育情结——如何让技术更好地服务每个孩子？

智慧教育20年积累千万节优秀课例，600亿过程性学习数据，5万所学校、730万教师、1.23亿学生持续应用。

知识能力是基础，但应用知识的能力更加重要。而且，每位学生基本素养的培养，也是重中之重。

从知识，到能力，再到素养，大模型能够不断赋能教育。