Geoffrey E. Hinton的姑妈之一,Joan Hinton是一位核物理学家,她以物理学家费米的学生的身份加入了曼哈顿计划,是为数不多的参与曼哈顿计划的女性之一。随后,Joan Hinton来到中国,起名“寒春”,加入了中国革命建设,成为我们中国农业机械化科学研究院的缔造者之一。
#模型时代# #2024年诺贝尔物理学奖揭晓#
诺贝尔物理学奖获得者、人工智能教父辛顿:我的AI生涯是如何开始的?
人工智能教父辛顿拿了诺贝尔物理学奖的消息,实在是让AI领域的人太振奋了。我看获奖报道中提到了他在玻尔兹曼机方面的成就,“波尔兹曼机器可以用来对图像进行分类,也可以根据训练过的模式类型创建新的示例。辛顿先生在这项工作的基础上,帮助启动了当前机器学习的爆炸式发展”。
巧合的是,今年5月份,辛顿接受了Sanalabs CEO Joel Hellermark的播客采访,回顾了他的AI职业生涯,其中正好谈到了他对玻尔兹曼机的发明感受,简直可以作为他获得诺贝尔物理学奖的完美注脚。现在看,辛顿通过深度学习的方法获得了人类学术最高成就,但是回顾当时,其实他想研究的是人脑的思考机制。所以有时候人生的播种和收获,真得不一定在同一个季节,甚至不在同一片田地。
具体大家可以看视频,主要段落如下:
***
问:让我们回到最初,您在剑桥试图理解大脑的时候,是什么感觉?
辛顿:非常令人失望。我学了生理学,但他们只教我们神经元如何传导动作电位,并没有真正解释大脑如何工作。后来我转而学习哲学,希望能了解心灵如何运作,但同样令人失望。最终,我去了爱丁堡学习人工智能,这才开始变得有趣起来。至少你可以通过模拟来测试理论。
问:是什么让您对人工智能产生兴趣?是某篇论文还是某个特定的人?
辛顿:我想是唐纳德·赫布的一本书对我影响很大。他对神经网络中如何学习连接强度非常感兴趣。早期,我也读过约翰·冯·诺伊曼的书,他对大脑如何计算以及与计算机的不同之处很感兴趣。
问:那时您是否确信这些想法会成功?在爱丁堡时,您的直觉是什么?
辛顿:我坚信大脑学习的方式一定存在,而且肯定不是通过预先编程和逻辑推理规则。冯·诺伊曼和图灵都相信这一点。所以我们必须弄清楚大脑如何学会修改神经网络中的连接,以便进行复杂的活动。
问:您在研究神经科学思想和开发人工智能算法之间如何分配时间?早期您从神经科学中获得了多少灵感?
辛顿:我从未进行过大量的神经科学研究,但我总是从对大脑工作原理的了解中获得灵感。神经元执行相对简单的操作,它们是非线性的,收集输入并进行加权,然后根据加权输入给出输出。问题在于如何改变这些权重,使整个系统产生好的结果。
问:您还记得那段时间有哪些合作吗?
辛顿:我在卡内基梅隆大学的主要合作者是 Terry Sejnowski,他在巴尔的摩的约翰霍普金斯大学。我们每月会面一次,一起研究玻尔兹曼机。那是我做过的最激动人心的研究。我们都相信这就是大脑的工作原理。虽然我们取得了很多有趣的结果,但我现在认为那并不是大脑的运作方式。
问:当你回顾你的职业生涯时,你在很多事情上都是正确的,但你错在哪里,希望你花更少的时间追求某个方向?
辛顿:好的,这是两个不同的问题。一个是“你错在哪里?”,另一个是“你希望在上面花更少的时间吗?” 我觉得我对玻尔兹曼机的认识错了,我很高兴我花了很长时间在上面。有比反向传播更美妙的理论来解释梯度是如何得到的。反向传播只是普通而明智的,它只是一个链式法则。玻尔兹曼机很聪明,这是一个非常有趣的获取梯度的方式。我希望大脑是这样工作的,但我认为它并不是。 高飞的微博视频
诺贝尔物理学奖获得者、人工智能教父辛顿:我的AI生涯是如何开始的?
人工智能教父辛顿拿了诺贝尔物理学奖的消息,实在是让AI领域的人太振奋了。我看获奖报道中提到了他在玻尔兹曼机方面的成就,“波尔兹曼机器可以用来对图像进行分类,也可以根据训练过的模式类型创建新的示例。辛顿先生在这项工作的基础上,帮助启动了当前机器学习的爆炸式发展”。
巧合的是,今年5月份,辛顿接受了Sanalabs CEO Joel Hellermark的播客采访,回顾了他的AI职业生涯,其中正好谈到了他对玻尔兹曼机的发明感受,简直可以作为他获得诺贝尔物理学奖的完美注脚。现在看,辛顿通过深度学习的方法获得了人类学术最高成就,但是回顾当时,其实他想研究的是人脑的思考机制。所以有时候人生的播种和收获,真得不一定在同一个季节,甚至不在同一片田地。
具体大家可以看视频,主要段落如下:
***
问:让我们回到最初,您在剑桥试图理解大脑的时候,是什么感觉?
辛顿:非常令人失望。我学了生理学,但他们只教我们神经元如何传导动作电位,并没有真正解释大脑如何工作。后来我转而学习哲学,希望能了解心灵如何运作,但同样令人失望。最终,我去了爱丁堡学习人工智能,这才开始变得有趣起来。至少你可以通过模拟来测试理论。
问:是什么让您对人工智能产生兴趣?是某篇论文还是某个特定的人?
辛顿:我想是唐纳德·赫布的一本书对我影响很大。他对神经网络中如何学习连接强度非常感兴趣。早期,我也读过约翰·冯·诺伊曼的书,他对大脑如何计算以及与计算机的不同之处很感兴趣。
问:那时您是否确信这些想法会成功?在爱丁堡时,您的直觉是什么?
辛顿:我坚信大脑学习的方式一定存在,而且肯定不是通过预先编程和逻辑推理规则。冯·诺伊曼和图灵都相信这一点。所以我们必须弄清楚大脑如何学会修改神经网络中的连接,以便进行复杂的活动。
问:您在研究神经科学思想和开发人工智能算法之间如何分配时间?早期您从神经科学中获得了多少灵感?
辛顿:我从未进行过大量的神经科学研究,但我总是从对大脑工作原理的了解中获得灵感。神经元执行相对简单的操作,它们是非线性的,收集输入并进行加权,然后根据加权输入给出输出。问题在于如何改变这些权重,使整个系统产生好的结果。
问:您还记得那段时间有哪些合作吗?
辛顿:我在卡内基梅隆大学的主要合作者是 Terry Sejnowski,他在巴尔的摩的约翰霍普金斯大学。我们每月会面一次,一起研究玻尔兹曼机。那是我做过的最激动人心的研究。我们都相信这就是大脑的工作原理。虽然我们取得了很多有趣的结果,但我现在认为那并不是大脑的运作方式。
问:当你回顾你的职业生涯时,你在很多事情上都是正确的,但你错在哪里,希望你花更少的时间追求某个方向?
辛顿:好的,这是两个不同的问题。一个是“你错在哪里?”,另一个是“你希望在上面花更少的时间吗?” 我觉得我对玻尔兹曼机的认识错了,我很高兴我花了很长时间在上面。有比反向传播更美妙的理论来解释梯度是如何得到的。反向传播只是普通而明智的,它只是一个链式法则。玻尔兹曼机很聪明,这是一个非常有趣的获取梯度的方式。我希望大脑是这样工作的,但我认为它并不是。 高飞的微博视频