瑞典皇家科学院决定授予2024年诺贝尔物理学奖给:John·J·Hopfield: 1933年出生于美国伊利诺伊州芝加哥。1958年获得康奈尔大学博士学位。现任美国新泽西州普林斯顿大学教授。Geoffrey·E·Hinton:1947年出生于英国伦敦。1978年获得爱丁堡大学博士学位。现任加拿大多伦多大学教授。理由是 “for foundational discoveries and inventions that enable machine learning with artificial neural networks”"使人工神经网络机器学习成为可能的开创性发现和发明"
技术背景解读
今年的诺奖得主利用物理学工具构建了方法,为当今强大的机器学习奠定了基础。 John Hopfield创造了一种可以存储和重建信息的结构。Geoffrey Hinton发明了一种可以独立发现数据属性的方法,这对目前广泛使用的大型人工神经网络非常重要。
许多人都体验过计算机如何在语言之间进行翻译、解释图像甚至进行合理对话。但不太为人所知的是,这种技术长期以来一直在研究中很重要,包括对大量数据的分类和分析。机器学习的发展在过去15到20年里呈爆炸式增长,它利用了一种称为人工神经网络的结构。如今,当我们谈论人工智能时,通常指的就是这种技术。
尽管计算机无法思考,但机器现在可以模仿记忆和学习等功能。今年的物理学诺奖得主帮助实现了这一点。他们利用物理学的基本概念和方法,开发了利用网络结构处理信息的技术。
机器学习与传统软件不同,传统软件就像一种配方。软件接收数据,根据明确的说明进行处理并产生结果,就像有人收集原料并按照食谱制作蛋糕一样。相反,在机器学习中,计算机通过学习示例来解决太模糊和无法用逐步指令管理的复杂问题。一个简单的例子就是去解释一张图片以识别其中的物体。
模仿大脑
人工神经网络利用整个网络结构来处理信息。最初的灵感来自于理解大脑如何工作的愿望。在1940年代,研究人员开始围绕着大脑神经元和突触网络的数学基础进行推理。心理学家Donald Hebb的假说也是这个谜题的另一部分,他提出了学习是因为协同工作的神经元之间的连接得到增强的理论。
后来,人们尝试通过构建人工神经网络作为计算机模拟来重现大脑网络的功能。在这些模拟中,大脑的神经元被模拟为具有不同值的节点,而突触则被表示为可以加强或减弱的节点之间的连接。Donald-Hebb的假说仍然被用作通过训练（training）过程更新人工网络的基本规则之一。
在1960年代末,一些令人沮丧的理论结果使许多研究人员怀疑这些神经网络永远不会有任何实际用途。然而,在1980年代,包括今年获奖者的工作在内的几个重要思想的影响下,人工神经网络的兴趣再次被唤起。
自然和人工神经元（左图）：大脑的神经网络由生活细胞神经元构建而成,具有先进的内部机械。它们可以通过突触相互发送信号。当我们学习新事物时,某些神经元之间的连接会变得更强,而其他连接则会变弱。
人工神经网络由带有编码值的节点构建而成（右图）。这些节点相互连接,当网络经过训练时,同时激活的节点之间的连接会变得更强,否则连接会变弱。
联想记忆
想象一下,你正试图记住一个很少使用的不太常见的词,比如电影院和讲堂里常见的那种倾斜的地板。你在记忆中搜索。好像是ramp...也许是rad...ial?不,不是那个。是rake,对了!
这种通过搜索相似的词来找到正确词的过程,让人联想到物理学家 John Hopfield在1982年发现的联想记忆。Hopfield网络可以存储模式,并有一种重建它们的方法。当网络被给予一个不完整或略有失真的模式时,该方法可以找到最相似的存储模式。
Hopfield之前利用他在物理学方面的背景探索了分子生物学中的理论问题。当他受邀参加一个关于神经科学的会议时,他接触到了关于大脑结构的研究。他对所学到的内容感到着迷,并开始思考简单神经网络的动力学。当神经元协同工作时,它们可以产生新的强大特性,这对只看网络单独组件的人来说是不明显的。
1980年,Hopfield离开了普林斯顿大学,在那里他的研究兴趣已经超出了物理学同事的研究范围,并跨越大陆搬了家。他接受了加州理工学院(Caltech)在南加州帕萨迪纳的化学和生物学教授职位。在那里,他可以使用免费的计算机资源进行实验和发展他关于神经网络的想法。
然而,他并没有放弃自己在物理学方面的基础,在那里他找到了灵感,了解到由许多小组件协同工作而产生新的有趣现象。他特别从学习磁性材料的特性中获益,这些特性归功于它们的原子自旋——这是一种使每个原子成为微小磁铁的属性。相邻原子的自旋会相互影响,这可以使具有相同方向自旋的区域形成。他能够使用描述材料在自旋相互影响下发展的物理学,建立一个由节点和连接组成的模型网络。
网络以横向模式保存图像
Hopfield构建的网络有相互连接的节点,连接强度各不相同。每个节点可以存储一个独立的值 - 在Hopfield最初的工作中,这个值可以是0或1,就像黑白图片中的像素。Hopfield用一个等同于物理学中自旋系统能量的属性来描述网络的整体状态;能量是根据节点值和节点间连接强度的公式计算出来的。通过将图像输入到节点,赋予黑色(0)或白色(1)的值,来训练这个网络。然后使用能量公式调整网络连接,使保存的图像具有较低的能量。当另一个模式输入网络时,有一个规则可以逐个检查节点,看将该节点的值改变是否会降低网络的能量。如果将黑色像素改为白色可以降低能量,网络就会改变颜色。这个过程一直持续到无法找到任何进一步的改进为止。到达这一点时,网络通常会重现其训练时使用的原始图像。
如果只保存一个模式,这可能并不太引人注目。你可能会想,为什么不直接保存图像本身并与另一个待测图像进行比较,但Hopfield的方法很特殊,因为它可以同时保存多张图片,网络通常能够区分它们。
约翰·霍普菲尔德的联想记忆以类似于塑造地形的方式存储信息。当网络被训练时,它会在虚拟能量地形中为每个已保存模式创建一个山谷。
1 当训练好的网络被输入一个失真或不完整的模式时，可以类比为在这个地形中滚落一个球。
2 球滚动直到被包围在上坡中。同样地，网络会朝着较低的能量移动并找到最接近的已保存模式。记忆被存储在一个地形中。
Hopfield将在网络中搜索保存状态比喻为在有摩擦阻力的山峰谷地中滚动球体。如果球体从某个位置释放,它将滚入最近的山谷并停下来。如果网络被给予一个接近于保存模式之一的模式,它也会以同样的方式不断前进,直到落入能量景观中的一个山谷,从而找到其记忆中最接近的模式。
Hopfield网络可用于重建含有噪声或部分被擦除的数据。
Hopfield和其他人继续深入研究Hopfield网络的工作原理,包括可以存储任何值而不仅仅是0或1的节点。如果将节点视为图像中的像素,它们可以有不同的颜色,而不仅仅是黑白。改进的方法使得保存更多图像并区分它们成为可能,即使它们非常相似。只要由许多数据点构成,就有可能识别或重建任何信息。
使用19世纪物理学进行分类
记住一幅图像是一回事,但要解释图中所描述的内容则需要更多信息。
即使是很小的孩子也能指出不同的动物,并自信地说它是狗、猫还是松鼠。他们偶尔会错误,但很快就几乎全部正确。一个孩子可以在没有看到任何关于物种或哺乳动物概念的图表或解释的情况下学会这一点。在接触了每种动物的几个例子之后,不同的类别就在孩子的头脑中形成了。人们通过体验周围的环境来学会识别猫、理解一个词或注意到房间里发生了变化。
当Hopfield发表他关于联想记忆的文章时, Geoffrey Hinton正在美国匹兹堡的卡内基梅隆大学工作。他之前在英格兰和苏格兰研究过实验心理学和人工智能,并想知道机器是否可以像人类一样学习处理模式,找到自己的分类和解释信息的方法。与他的同事特伦斯·塞尼奥斯基一起,Hinton从Hopfield网络出发,扩展它来建立一些新的东西,使用了统计物理学的思想。
统计物理学描述由许多相似元素组成的系统,如气体中的分子。跟踪气体中所有单独的分子是困难的或不可能的,但可以集体考虑它们来确定气体的总体属性,如压力或温度。气体分子可以以不同的个体速度在体积中传播,但仍会产生相同的总体属性。
个体组件可以共同存在的状态可以用统计物理学进行分析,并计算它们出现的概率。一些状态比其他状态更可能出现;这取决于可用能量的数量,这由19世纪物理学家Ludwig Boltzmann的方程式描述。Hinton的网络利用了这个方程式,这种方法在1985年以"玻尔兹曼机-Boltzmann machine"这个引人注目的名称发表。
识别同类型的新实例
玻尔兹曼机通常与两种不同类型的节点一起使用。信息被馈送到一组称为可见节点的节点。其他节点形成一个隐藏层。隐藏节点的值和连接也有助于整个网络的能量。
该机器通过应用一个规则来更新一次一个节点的值而运行。最终,机器将进入一个状态,节点的模式可以改变,但整个网络的属性保持不变。然后,每个可能的模式都会根据玻尔兹曼方程式的网络能量而具有特定的概率。当机器停止时,它已经创建了一个新的模式,这使得玻尔兹曼机成为生成模型的早期示例。
Geoffrey Hinton的联想记忆是由所有节点相互连接构建的。信息被输入并从所有节点读取。Geoffrey Hinton的玻尔兹曼机器通常由两层构成,信息通过一层可见节点输入和读取。它们与隐藏节点相连,影响网络的整体功能。在受限玻尔兹曼机器中,同一层内的节点之间没有连接。这些机器通常串联使用。在训练第一个受限玻尔兹曼机器之后,隐藏节点的内容被用于训练下一个机器,依此类推。
玻尔兹曼机器可以学习——不是从指令中学习,而是从给予的例子中学习。它是通过更新网络连接中的值来进行训练的,使得在训练时输入到可见节点的示例模式在机器运行时具有最高的发生概率。如果在训练过程中重复出现相同的模式,则该模式的概率会更高。训练还会影响输出新模式的概率,使其类似于机器训练所依据的示例。
训练好的玻尔兹曼机器可以识别出之前未见过的信息中的熟悉特征。想象一下遇到朋友的兄弟姐妹,你立即就能看出他们是亲属关系。同样地,如果一个全新的示例属于训练材料中的某一类别,玻尔兹曼机器也能识别出来,并将其与不相似的材料区分开来。
原始形式的玻尔兹曼机器效率较低,需要很长时间才能找到解决方案。当它以各种方式进行改进时,情况会变得更加有趣,这也是Hinton一直在探索的方向。后来的版本删除了一些单元之间的连接,结果发现这可能使机器更加高效。
在20世纪90年代,许多研究人员对人工神经网络失去了兴趣,但Hinton是继续在这个领域工作的人之一。他还帮助引发了新一轮令人兴奋的成果;2006年,他和他的同事Simon Osindero、Yee Whye Teh和Ruslan Salakhutdinov开发了一种方法,通过在网络上逐层叠加多个玻尔兹曼机器进行预训练,为网络的连接找到了更好的起点,从而优化了它识别图片元素的训练。
玻尔兹曼机器通常作为更大网络的一部分使用。例如,它可用于根据观众的偏好推荐电影或电视剧。
机器学习 - 今天和明天
多亏了 John Hopfield和 Geoffrey Hinton在20世纪80年代及以后的工作,他们帮助奠定了从2010年左右开始的机器学习革命的基础。
我们现在目睹的发展是通过获取大量可用于训练网络的数据,以及计算能力的巨大增长而实现的。
如今的人工神经网络通常非常庞大,由许多层构成，这些被称为深度神经网络,它们的训练方式被称为深度学习。
与之相比,Hopfield1982年发表的关于联想记忆的文章中使用的网络只有30个节点。如果所有节点都相互连接,就会有435个连接。节点有自己的值,连接有不同的强度,总共不到500个需要跟踪的参数。他还尝试过使用100个节点的网络,但由于当时使用的计算机性能有限,这已经过于复杂了。我们可以将之与如今构建的大型语言模型进行对比,这些模型包含超过一万亿个参数。
许多研究人员正在开发机器学习的应用领域。哪些领域最有前景还有待观察,同时也有广泛的讨论围绕着这项技术的伦理问题。
由于物理学为机器学习的发展提供了工具,因此有趣的是看到物理学作为一个研究领域也从人工神经网络中获益。机器学习长期以来一直应用于我们从前几届诺贝尔物理学奖中熟悉的领域,例如用于筛选和处理大量数据以发现希格斯粒子,减少测量碰撞黑洞产生的引力波时的噪音,或搜寻系外行星。
近年来,这项技术也开始用于计算和预测分子和材料的性质,例如计算蛋白质分子的结构(决定其功能),或确定某种新材料可能具有最佳性能以用于更高效的太阳能电池。
参考资料：https://www.nobelprize.org/prizes/physics/2024/press-release/ They used physics to find patterns in information
