城市街道上,一辆自动驾驶汽车正在行驶中。突然,一个孩子追着皮球冲向马路。
车载系统的多个传感器立即捕捉到这一情况——摄像头、激光雷达和毫米波雷达同时工作,专用的神经网络处理器和GPU开始高速运算,
整个系统在峰值状态下消耗数百瓦的电能
,通过并行计算在约100毫秒内完成从感知到决策的过程。
而同样的情况,人类司机只需一瞬间就能踩下刹车,处理这种复杂场景,
大脑仅消耗约20瓦的能量
——相当于一个小灯泡。更令人惊叹的是,大脑通过分布式并行计算,同时还能处理呼吸、心跳等数不清的其他任务。大脑可以在极低能耗下进行并行计算,能够从有限经验中快速学习,并且可以自适应地处理各种未知情况。
正是这种巨大的效率差距,推动着科学家们开创了一个全新的研究领域——
NeuroAI
(神经启发的人工智能)。这个新兴领域正试图打破传统AI的局限,
通过模仿大脑的工作方式来创造更智能、更高效的AI系统。
比如,借鉴大脑处理视觉信息的方式,来改进计算机视觉;参考神经元之间的连接模式,来优化深度学习网络;甚至学习大脑的注意力机制,来降低AI系统的能耗。
本文将带您深入了解NeuroAI,回顾其定义、发展历程、研究现状和未来趋势。结合近期美国国立卫生研究院(NIH)举办的NeuroAI学术研讨会上分享的最新研究进展,探索 NeuroAI 如何模拟大脑的学习机制、信息处理方式和能量利用效率,以及如何解决当前AI面临的瓶颈问题。
NeuroAI体现了人工智能与神经科学的双向融合:一方面,它将人工神经网络作为研究大脑的新工具,通过构建可验证的计算模型来检验我们对神经系统的理解;另一方面,它借鉴大脑的工作原理来改进人工智能系统,将生物智能的优势转化为技术创新。
多年以来,
AI研究的基本目标,始终是构建能够完成一切人类擅长任务的人造系统。
为此,研究者持续将目光投向神经科学的研究从中获得灵感。神经科学激发人工智能的进步,而人工智能为神经科学模型提供测试平台——这形成了一个正反馈循环,加速了这两个领域的发展。
AI与神经科学之间的关系,实际上是互利共生而非寄生关系。
AI为神经科学带来的收益与神经科学为AI带来的益处旗鼓相当。例如,人工神经网络是许多对视觉皮层的最先进神经科学模型的核心。这些模型在解决复杂感知任务上的成功,促成了大脑可能如何执行类似计算的新假设。人工“深度”强化学习,一种结合深度神经网络与试错学习的神经启发算法,同样是一个令人信服的人工智能和神经科学相互提升的案例。它不仅推动了AI的突破性成就(包括在围棋游戏中实现超人类表现的AlphaGO),而且还激发了人们对大脑奖励系统产生更深入的理解。
计算机科学与神经科学的交织可以追溯到现代计算机的诞生之初。1945年,计算机之父约翰·冯·诺伊曼在其具有里程碑意义的EDVAC架构论文中,专门用一章讨论了该系统与大脑的相似性,且文中唯一的引用就是一项大脑研究成果(Warren McCulloch & Walter Pitts,1943)。这篇论文被广泛认为是第一篇关于神经网络的文章,为之后数十年的神经科学与计算机科学相互启发奠定了基础。
▷
图
1. 冯诺依曼论文中对计算机中逻辑计算单元的描述,其中借鉴了兴奋性及抑制性神经元,来源:von Neumann, J. (1993). First draft of a report on the EDVAC. IEEE Annals of the History of Computing, 15(4), 27-75.
神经网络的概念在1958年迎来重大突破。
Frank Rosenblatt
发表了题为“感知机,一种大脑中信息存储和组织的概率模型“的论文,首次提出“
神经网络应该通过数据学习而非固定编程
”的革命性观点。这一成果在《纽约时报》以“电子‘大脑’的自我学习”为题得到报道,掀起了早期人工智能研究的热潮。尽管1969年Marvin Minsky和
Seymour Papert
指出了单层感知器的局限性,引发了第一次“神经网络寒冬”,但“
突触是神经网络中的可塑元素或自由参数
”这一核心理念始终延续至今。
▷
图
2. 感知机,描述了包含兴奋性与抑制性两类不同的神经元 来源:Rosenblatt, F. (1958). The perceptron: A probabilistic model for information storage and organization in the brain. Psychological Review, 65(6), 386-408.
在人工智能的近期发展中,还有众多来自受神经科学启示而来的案例。NeuroAI最具代表性的应用是图像识别领域大获成功的“卷积神经网络”,其灵感源自David Hubel和Torsten Wiesel四十年前对大脑视觉皮层的建模研究。另一个典型案例是“Dropout技术”,即在训练过程中随机关闭人工网络中的单个神经元以防止过拟合。它通过模拟大脑神经元随机错误放电,帮助人工神经网络获得更强的鲁棒性和泛化能力。
过去十年,AI在多个领域取得了显著进步,可以撰写文章、考取律师资格、证明数学定理、复杂编程以及语音识别。然而,在真实物理世界中的导航、跨时间尺度的做规划和推理感知等诸多方面,AI的表现充其量只算得上平庸。
正如理查德·费曼所言:“
大自然的想象力远超人类。
”大脑作为目前唯一能够完美执行这些复杂任务的计算模型,经过5亿年的进化打磨,使得动物能够轻松完成诸如捕猎等当前AI仍然难以胜任的复杂任务。
这正是NeuroAI希望借鉴的方向,通过研究大脑的工作机制来突破当前AI系统的瓶颈。在具体实现上,主要表现在以下几个方面:
不同于AI需要海量数据从0开始训练,生物智能通过“
基因组瓶颈
”(genomic bottleneck)有效继承进化解决方案,使得动物能够基于本能执行复杂任务——“
生物智能源自于基因组瓶颈
”。基因组在这个过程中扮演着关键角色:它提供了构建神经系统的基本蓝图,指定了神经元之间的连接模式和强度,为生物体的终身学习奠定了基础。
▷
图3. 使用先天加后天学习策略的物种,如果其表现优于单纯依赖先天本能的物种,则会具有进化优势. 来源:Zador, A. M. (2019). A critique of pure learning and what artificial neural networks can learn from animal brains. Nature Communications, 10, Article 3770.
值得注意的是,
基因组并不直接编码具体行为或表征,也不直接编码优化原则。它
主要编码连接规则和模式
,这些规则和模式需要通过后天学习才能产生实际行为和表征。
进化的对象是这些连接规则
,这启示我们在设计AI系统时应该更多地关注网络的连接拓扑和整体架构。
这一发现对AI系统的设计具有重要启示。我们可以模仿生物解决方案的连接模式,比如利用视觉皮层和听觉皮层相似的连接方式来设计跨模态的AI系统。通过“基因组瓶颈”压缩权重矩阵,我们可以
提取神经网络中最关键的连接特征充当“信息瓶颈”
,以实现更高效的学习方式,减少对训练数据的依赖。
▷
图4. 基于基因组瓶颈原则设计的人工神经网络在强化学习任务中的架构及表现. 图源:Shuvaev, S., Lachi, D., Koulakov, A., & Zador, A. (2024). Encoding innate ability through a genomic bottleneck. Proceedings of the National Academy of Sciences, 121(38), Article e2409160121.
人工神经网络在能耗方面与生物大脑存在巨大差距。目前,ChatGPT等模型进行实时对话所需的能量,至少是人类大脑消耗能量的100倍。而将GPU阵列的能量消耗与全脑的能量消耗进行比较,本就显著低估了大脑的能量优势,实际上维持对话只占用大脑能量消耗的一小部分。
大脑的极高能耗率,可能得益于两个关键因素——
神经元“稀疏”的运行方式
以及
大脑对噪声的高容忍度
。
首先,神经元消耗的大部分能量用于产生动作电位,能量消耗大致与神经脉冲的出现频率成正比。
在大脑皮层中,神经元以稀疏方式运行,平均每秒仅产生约0.1个脉冲。
相比之下,当前的人工网络则是在高能耗、高脉冲率状态下运行。虽然目前人工网络的能效已有所提升,但我们距离掌握大脑那种基于稀疏脉冲的节能计算模式还很遥远。
其次,大脑可以容忍噪声的存在。
在突触传递过程中,即使高达90%的脉冲未能触发神经递质的释放,大脑仍能正常工作。
这与现代计算机形成鲜明对比。计算机的数字计算依赖于精确的0和1,即使单个比特的错误也可能导致灾难性的失败,因此需要消耗大量能量来确保信号的准确性。如果能开发出在噪声环境中运行的类脑算法,可能会带来显著的能源节约。
(3)生物系统平衡多个目标
生物系统与人工智能在目标管理方面也存在显著差异。目前的人工智能系统往往只追求单一目标,而生物体需要在当下和长期尺度上平衡多个目标,包括繁衍、生存、捕食、求偶等多个方面(即所谓的4F)。我们对动物如何在多个目标之间取得平衡的机制仍知之甚少,这主要是因为我们尚未完全理解大脑的计算机制。随着我们努力开发能处理多目标的AI系统,
神经科学的研究成果可为AI提供指导,而AI模型又可以作为验证大脑多目标管理理论的测试平台
。这正体现了神经科学与人工智能研究的良性互动,加速两个领域的发展。
神经科学与人工智能的交叉融合正在不断深入,研究人员从生物智能系统中汲取灵感,探索着从微观分子到宏观系统的多个层面。以下梳理了2024年11月NIH主办的专题研讨会上分享的一系列NeuroAI创新成果,有益于加深我们对智能本质的理解。
1、星形胶质细胞的生物计算
活体神经网络具有快速环境适应性和从有限数据中学习的能力。其中,星形胶质细胞作为模拟信息的载体,在神经网络的信息缓慢整合处理中发挥着关键作用。这一发现为理解生物神经网络的独特性能提供了新视角,对神经科学和人工智能领域都具有重要启示。
2、闭合神经科学与虚拟神经科学之间的循环
神经技术的重大进展,使得研究人员能够在自然条件下对神经元活动进行前所未有的覆盖率和生物物理细节精度地记录。通过开发数字孪生和基础模型,研究人员可以进行虚拟实验和假设生成,模拟神经活动,并以超越传统实验方法限制的方式探索大脑功能。这种向虚拟神经科学的转变,对于加速神经科学进步至关重要,也为开发灵活、安全和人性化的AI系统提供洞见。
3、具有树突的高级神经AI系统
树突作为神经元的接收端,在生物智能中扮演着关键角色。将树突特征整合到AI系统中不仅能提高能源效率,还能增强系统的抗噪声能力,解决灾难性遗忘等问题。然而,树突的核心功能特征及其在AI中的应用方式仍不明确,这限制了类脑AI系统的发展。解决这一问题需要通过跨学科研究,深入探索不同物种神经元树突的解剖学和生物物理特性。通过计算模型的辅助和新数学工具的开发,研究者可以更好地理解树突功能,从而推动树突AI系统的发展,并加深对生物设计原则及其进化意义的认识。
4、NeuroAI的未来,从昆虫和数学中汲取灵感