近日，一篇关于 AGI 的综述观点性论文火了。文章深入探讨 AGI 发展历史和现状，探索 “AGI 离我们有多远以，及如何安全通往 AGI”。
在刚刚结束的 ICLR 2024 workshop 上全场座无虚席，大家都对一个话题感兴趣“我们距离 AGI 还有多远”。在场图灵奖教授 Yoshua Bengio，以及 Choi Yejin，Song Han 等著名学者深入探讨了 AGI 的相关话题，包括了“我们如何更好定义AGI”，“如何跟安全有效地到达AGI”，“实现 AGI 的目前主要障碍”。
▲ 图一：AI 不断超越人类的领域比例（估算）以及关键工作
随着 OpenAI 最新发布的 GPT-4o 和 Google I/O 大会的突破性进展，AGI 的发展又往前进了一步。我们正处在一个前所未有的转折点，AGI 的曙光已经隐约可见。尽管现有文献从不同角度对 AGI 进行了研究，但往往缺乏对其发展轨迹的全面评估和对目标的精确定义，这使得从当代 AI 到 AGI 的过渡，以及 AGI 往更深层级的发展变得模糊不清。
作者认为，现在比以往任何时候都更需要全面探讨 AGI。这个时代正在呼唤新的思维方式和突破性技术，我们正站在一个即将迎来智能革命的风口浪尖。AGI 时代即将到来，未来的无限可能性正等待着我们去探索与实现。
https://arxiv.org/pdf/2405.10313
https://github.com/ulab-uiuc/AGI-survey
本文中，来自 UIUC 的团队对最近的 AGI 发展展开了全面调研，并着眼于 AGI 技术的五大方面：内在能力、外在接口、系统、安全对齐，以及 AGI 的评估和实现。这篇论文深入探讨了“
人类离通用人工智能（AGI）还有多远”
，以及“
如何更加安全地通往 AGI？
”这两个关键问题。
▲ 图二：文章整体架构，AGI 实现的基础以及安全地在各个领域中体现
1. AGI 组件：包括 AGI 内部能力、AGI 接口和 AGI 系统三个方面。其中，AGI 内部涉及感知、推理、元认知和记忆；AGI 接口连接数字世界和物理世界，并涉及其他智能体和人类的交互；AGI 系统则包含架构、算法、成本/效率和平台等内容。
2. AGI 对齐技术：作为连接 AGI 组件与负责任 AGI 方法的桥梁，对齐技术确保了AGI的发展能够契合人类的价值观和需求。
3. 负责任地实现 AGI 的方法：包含了 AGI 发展的各个层次、应对 AGI 挑战的策略、对 AGI 现状和发展的评估，以及可能的解决方案。
4. 案例研究：从科学发现、生成式视觉智能、世界模型、去中心化 LLMs、AI 编程、AI 机器人和人机协作等方面，提供了 AI 技术在现实场景中应用的案例分析。
▲ 图三：AGI 的内在能力，包括感知、推理、记忆和元认知能力
文章的第二章着重介绍了 AGI 内部的演进。AGI 内部应作为一个有机整体，各个模块之间持续互动，并为 AGI 与外部的交互提供支持。每个模块在未来的研究可以关注以下方面。
感知（Perception）：
增强多模态的感知和融合，发展出像人一样的认知感知
推理（Reasoning）：
努力实现稳健、易懂、高效、长期视角的推理，全面优化预训练、微调和策略提示阶段的推理能力
记忆（Memory）：
高效管理和利用不同层次的记忆，整合检索与推理，使知识和经验能自动更新
元认知（Metacognition）：
专注于最少外部指导下的自我进化和元学习，提升认知能力，强调自我意识的潜力，并考虑伦理影响
▲ 图四：AGI 与外部世界的接口，能顺利和数字世界，物理世界以及与其他智能进行交互
作者接着讨论了 AGI（通用人工智能）接口的演进。它分为三个主要的接口类别：
数字接口：
未来：数字接口将从网页过渡到代码解释器，然后到 API。最终，AGI 发明的工具将会出现。
物理接口：
未来：物理接口将进步到包括声音感知输入、视觉感知输入、商用机器人，并最终实现更精确的机器人控制。
未来：智能接口将演变为与软件智能体的通信，导致安全性和一致性的提高，以及智能体网络的形成。
文章的第四章着重介绍了 AGI 系统相关的内容，从大语言模型的切入点介绍了包含了多个角度的内容工作：
1. 模型架构层面：
自注意力机制的技巧，模型参数压缩，内核算子优化，以及一些区别于现在主流 Transformer 的架构介绍
2. 模型训练：
高性能计算框架，内存/显存管理系统，下游任务微调模型技巧，去中心化大语言模型系统，和大模型的训练机制以及实验性的研究工作
3. 模型推理：
Decoding 算法，消息请求的调度算法，以及多模型的部署技巧
4. 效率与能耗：
介绍了关于“数据经济学”的理论和算法，模型融合，以及自动化深度学习和大模型的系统工作
5. 计算平台：
计算成本，加速器的迭代更替，以及新的硬件所带来的机会与算法的联系
并且在结尾基于现有介绍的工作的优势与局限性，结合着 AI 发展趋势与用户需求，提出了一些对于 AGI 系统能力以及模式的畅想以及一些热点方向的可能性：如何训练千亿参数模型？如何同时部署超过一千个不同的 LoRA Heads？如何有效的整合分散的计算资源（新的训练模式）？下一代的 AGI 系统所提供的服务类型等。
文章的第五章深入探讨了 AGI 对齐技术，着眼于如何利用 AGI 的能力以适应生产和日常生活中的实际应用。具体内容如下：
1. 当前对齐技术：
分析了在线人类监督、离线人类监督以及交互式监督三种主要的 AGI 对齐方法。这些方法各有特点，旨在确保 AGI 系统的行为与人类利益保持一致。
2. AGI 的期望与能力：
从 AGI 的内部能力、界面以及系统整体进行了详细介绍，同时强调了与 AGI 相关的伦理问题，如公平、安全、隐私、信任和透明度。
3. 未来对齐策略：
探讨了基于参与者和基于交互的两种潜在 AGI 对齐路径。其中，基于参与者的对齐侧重于 AGI 与工具、代理和人类的互动；而基于交互的对齐则强调简单互动、约束以及超人类智能的整合。
4. 伦理与技术的补充
：深入探讨了技术发展应如何与伦理标准相结合，以确保 AGI 系统的发展既符合技术进步的要求，也符合社会的伦理期望。
5. 综合讨论与未来展望：
在综合现有研究的基础上，结合 AI 发展的趋势与用户需求，本章提出了对 AGI 系统能力及其应用模式的未来畅想，指出了当前研究的优势与局限性，并探讨了未来的发展方向。
本章不仅阐述了 AGI 对齐技术的现状和挑战，还展望了这一领域未来可能的发展路径，旨在推动 AGI 技术的实际应用与伦理发展步伐相协调。
▲ 图七：AGI 对齐方法框架
AGI 分类机制
文章首次比较清晰地定义了 AGI 的三个发展等级：
