主要观点总结
本文介绍了近期多个公司发布的自主人工智能产品，如Google的AI项目以及微软的OmniParser等。文章讨论了自主人工智能的热度及其对用户心智的影响，并分析了自主人工智能的任务流程以及为何过去一年多的时间公众对其知之甚少的原因。文章还探讨了自主人工智能面临的挑战，如多模态模型的成熟度、行为数据的缺乏等，并猜测了AutoGLM等技术如何实现。
关键观点总结
关键观点1: 多个公司近期发布自主人工智能产品。
包括Google、智谱和微软在内的多家公司都发布了类似的自主人工智能产品。
关键观点2: 自主人工智能能够引发巨大的市场反馈和竞争。
自主人工智能在市场上的反响热烈，并且已经开始激发竞争。
关键观点3: 自主人工智能面临模型能力和数据问题。
多模态模型的成熟度和行为数据的缺乏是自主人工智能面临的主要挑战。
关键观点4: AutoGLM等技术实现细节。
文章讨论了AutoGLM等技术如何实现自动化操作任务，包括理解用户需求、系统规划、调用工具执行任务等。
关键观点5: 自主人工智能面临的挑战和未来发展前景。
尽管目前存在挑战，但自主人工智能的未来发展前景广阔，仍有大量工作需要完成。
正文
昨天，微软忽然发布了一个新的模型，能够用于网页自动化操作。
他们也正式开卷跟智谱AutoGLM一样自主人工智能了。
而前天，我也在The Information网站上看到一个消息：
标题Google Preps AI That Takes Over Computers，翻译过来就是：
上周三Claude、周五智谱AI、周末Google，然后微软。
短短一周内，已经有四个公司爆出来要发布类似的产品了，其中三个已经悄悄发布产品：Anthropic的Claude，智谱的AutoGLM和微软的OmniParser。这些产品的能力有目共睹。
Goolge虽然也只是个爆料，但是大概率今年就能出来，非常心急，想把坑先占上。
而且，我知道的消息是，OpenAI内部肯定也在做，就看什么时候掏出来了。
二级市场对于这种自主人工智能，反馈也非常的正。上周五智谱的AutoGLM出来之后，在金融圈直接爆了，连智谱AI概念股都出来了。
不过也能理解，类似于这种你发个指令他就会全自动化去处理的AI，
才符合我们对人工智能的真正的期待，才有一点，那种AI变成现实的感觉。
现在的AI，坦率的讲，虽然有一些智能，但是远远离不开人工，完全没有达到解放双手的目的，绝大多数时候都是“人工”+“智能”。
而且对于各家AI公司来说，底层模型的能力已经卷到一定的瓶颈了，看现在大模型的一些榜单，大家也一点不关心了。
理解用户的需求-》系统规划-》调用工具执行任务-》目标完成
一年多前，就有人在做了，最经典的那个项目，github上狂揽十六万星的噬星狂魔AutoGPT。
但是AutoGPT到后面开始沉寂，其实有个很大的问题，就是完全基于大语言模型做的。
比如，纯粹的语言模型只能处理文本，而现在很多任务比如点外卖，打车都需要读取屏幕信息。大语言模型本身不能直接处理，往往需要多加一步将图片转换为文本输入。
而图片转换为文字后，对于大语言模型又会丢失很多信息。
好比你被蒙着双眼，只是语言告诉你屋里有些什么，无论语言描述多么细节，你想象力多么丰富，脑海里都无法还原得与真实一模一样。
模型的可控性比较差，模型就容易懵逼，导致任务中断，或干脆给你随机发挥，听天由命。
所以AutoGPT能做到的事情还是比较少，效果也没有那么好，慢慢就淡出大家的视野了。
但是我也挺好奇一个问题，就是这将近一年半的时间，自主人工智能为啥都什么消息，直到最近，才开始密集发声？
是各家都在卷其他赛道，无暇顾及，还是都在做，只不过遇到了瓶颈，最近才有所突破？
就是大家都在稳步推进，只是最近刚好到了一个可以拿出来用的时间点，而且大家的进展其实也没有差异太多。
而这一年半，自主人工智能没咋出现在公众视野，看起来进展很缓慢的样子，其实有两个最主要的原因。
-
多模态模型不够成熟。
就是你不能让模型蒙着眼睛去规划任务，他都不知道屏幕上面的元素长啥样，纯粹靠文字来描述，这个效果肯定很差。
所以推进这块，必须要有很强的多模态模型的基座能力作为基础。
而多模态的模型，训起来其实就比纯粹的大语言模型复杂多了。数据量、资源的消耗都是指数级增长。本身就是慢，连Claude都是今年3月才上线多模态能力的。
所以在模型基座上，就是会很拖沓，这个是客观的事实，不过最近几个月，大家的多模态模型已经基本都能用了，所以基座模型层面，其实就是刚好到了一个节点。
虽然互联网包含大量的人类知识，但主要由静态信息（图片、文字）组成，这些静态信息无法反应一些动态的过程。
比如，模型可以学习理解外卖界面上的脆皮炸鸡是多少钱。因为网上有大量的静态数据教会它钱是什么、能干什么。模型可以理解“钱是能买到炸鸡的”。
但缺乏动态数据教它怎么“找到美团App，点开App，如何搜索脆皮炸鸡，然后点击下单”的这样一个动态过程。
这个其实就跟o1的那套推理的路很像，模型不仅要知道结果，还要知道其中的过程。
整个自主人工智能的操作路径，其实就是一个多模态的巨型思维链。
o1和claude给大家打了个样，证明了强化学习这条路是对的，那强化基座模型的推理能力是一个应用方向，而做这种真正的Agent，又是一个强化学习应用的典型场景。
而这套通过强化学习补充数据的范式，其实也就是今年3、4月以后，才逐渐形成的业内共识。
所以，着就能解释，为什么过去一年半的时候，这种自主人工智能一直没啥进展，直到最近才密集发声，其实就是多模态基座和数据的原因。
最后，再简单说说
AutoGLM这种能力，大概是怎么实现的，具体细节他们也都没透露，我只能根据我的调研结果，进行一些猜测，不过AutoGLM团队最近应该会发个技术报告，到时候可以关注一下。
比如一个最简的例子，
说：
微信发送“今天疯狂星期四V我50”的消息给鲜虾包。
那么大模型拿到任务后，
会一边看当前屏幕的界面，一边利用思维链一步一步推理：
-
任务可以在当前的UI界面下继续进行吗？是的话进行第2步，否的话就会思考“应该打开什么界面”然后进行下一步动作。
