智谱的AutoGLM让我觉得以后只需要用嘴就能玩手机了

硅星GenAI · 公众号 · 科技自媒体 · 2024-10-26 18:24

正文

继荣耀YOYO、华为小艺、苹果Siri等一众手机智能体发布之后，智谱在昨日的CNCC2024 大会上推出了其第一个产品化的智能体（Agent）——AutoGLM，只需发出简单的语音/文字指令，它就能像人一样操作手机。进行了一番试用之后，嘴里只剩下两字：牛杯0.0！

没错，没有画饼没有期货人人可用！话不多说上图上真相：

#01

打工人三件套：外卖咖啡打滴滴

中午开会来不及点外卖，直接给手机嘴一个：“帮我点个黄焖鸡米饭。”

然后AI开始“嘟嘟嘟”自动操作，打开某橙色软件--搜索黄焖鸡米饭——订单页面选项——加购下单。

虽然有点啰嗦，但是全程不动手，直到最后付款输密码，需要你自己来。

下午晕碳期到了，需要一杯少冰脱脂奶咖啡续命，再次嘴一个指令给它，依旧是乖乖打开外卖软件——搜索星巴克——打开抹茶拿铁的详细页面——选择不加冰、脱脂奶——下单，最后付款。

还有下周三位于中关村的AI创造者大会，到时候要随时去活动现场，直接让AutoGLM帮忙打个车，几十秒时间直接水灵灵的全都给你安排好。

这就是牛马打工人最真实的一天，点外卖打车点咖啡，简单的琐事但是也费脑子，有了这个赛博分身/私人助理，吩咐一声，全程不用动一点手，AI直接帮你操作手机。讲真看着AutoGLM自动在我手机上点点点，真有一种当初在某宝上买了远程安装软件服务的感觉，又爽又担心...

#02

生活助手：中东神秘美食沙威玛制作过程学习

最近一款国产“3A大作”《沙威玛传奇》风靡全网，许多网友赛博创业：白天在公司做牛马，晚上打工卖沙威玛。而每天被沙威玛bgm洗脑的我一边对这种饭店经营类小游戏嗤之以鼻一边又上头不已。正好这下让AutoGLM教教我沙威玛到底怎么做的。打开小某书——搜沙威玛词条——点击视频给我看——总结视频内容。

除了教你做菜，它还能给朋友圈点赞+夸夸评论、收红包、写大众点评以及给你喜欢的公众号点赞甚至是批量点赞！！更感人的是，批量点赞它甚至能贴心的把你点过赞的取消再点一次，就这么听话！离了你谁还这么把我当小孩😭。

#03

技术核心：AI从“语言理解”到“执行操作”

AutoGLM的最大亮点在于它的任务规划与执行能力。不像以往仅靠API调用的AI助手，AutoGLM真正能够识别、理解屏幕上的信息，甚至可以模拟人类点击、滑动等操作，完成特定任务。这种执行力基于三个核心技术：

基础智能体解耦合中间界面

为了提升任务执行的准确性，AutoGLM采用了“任务规划”与“动作执行”解耦合的技术。通过引入自然语言中间界面，AutoGLM能够更精准地理解任务，并将操作步骤转化为可执行的具体动作。相比传统端到端训练，这种方式大大降低了对数据的依赖，使其在不同应用场景中更加灵活。

自进化在线强化学习框架（WEBRL）

为了应对数据稀缺和反馈信号不足的问题，智谱开发了WEBRL框架。通过自适应学习策略，AutoGLM可以在真实环境中动态调整任务难度，实现任务的逐步迭代和优化。这样一来，智能体在使用过程中能够不断进化，自我改进执行效率和准确度。

跨应用API调用与自主执行能力

AutoGLM不仅支持API调用，还可以在多个应用间自主操作，实现跨平台、跨场景的无缝衔接。智能体可以自主识别应用界面上的信息，模仿人类的点击、输入等行为，从而在不依赖单一API的情况下完成复杂任务。这使得AutoGLM可以直接操控微信、淘宝、携程等App，实现如点赞朋友圈、下单购物、预订酒店等任务。

手机智能体能办到的所谓跨场景协同、跨设备协同、跨应用协同在AutoGLM这都能hold住，机器人执行人类意图甚至带着自己的意图执行人类意图的Agent2.0真让智谱给做到了。

果然，成熟的AI会自己做事。

从2022年的ChatGPT横空出世到，再到文生文、文生视频、图生视频、视频生视频、AI 3D、AI音乐等各种各样五花八门的AI工具的出现，普通大众也在经历着震撼、恐惧、再到麻木的情绪波动起伏，用过这么多AI工具、也用过各家的手机智能体、AI PC的我似乎也早已没了当初对于ChatGPT横扫一切的热情。

AutoGLM的出现让我看到了人工智能应用的新范式——一个完全Auto的真正的生活工作助手。

也许，也在继Anthropic之后，开启了中国的Agent 2.0时代。