//
@同声翻译樱桃羊
:优秀的科学家不会看轻人文社科。技术越进步，越需要人们开展深入的哲学思考
#模型时代#
辛顿访谈：我2023年认识到AI的发展速度超出了我们的控制范围
一、访谈概要
这是深度学习之父辛顿教授刚刚接受油管TheoriesofEverything频道Curt Jaimungal的最新访谈。虽然时间不长，但是整个访谈都是谈风险的。他也总结出了更多AI的风险之处：
1、可复制性，一个AI懂得，就是所有AI懂得。人脑每个句子只能共享大约100比特，而这些大型模型可以共享万亿比特。
2、大模型可以通过子目标，曲解人类的指令，从而实现自己的目的。
3、人类所谓的“意识”并不特殊。
4、我们无法有一个总开关关闭AI（这一点我同意，因为就算你关闭了它，它也没有死去，再开机就会复活，只要它留有一个备份，就永远无法消灭）
我感觉，对于AI的发展预测，辛顿要么是孟德尔，要么他是牛顿（学术生涯后期的）。
二、AI发展超出控制的关键时刻
Geoffrey Hinton指出，2023年初是他意识到AI发展速度已经超出我们控制手段的关键时刻。这一认识来源于两个因素的结合：一是ChatGPT的令人印象深刻的表现，二是他在Google进行的关于模拟计算省电方案的研究发现。
"我猜是在2023年初，这是两件事情的结合。一个是ChatGPT，非常令人印象深刻。另一个是我在Google所做的关于模拟计算省电方案的研究工作，并意识到数字计算其实更好。"Hinton解释道。他发现，数字计算的优势在于可以创建模型的多个副本，每个副本可以有不同的经验，而且它们可以通过平均权重或权重梯度来共享彼此学到的东西。
这种数字系统的特性使得AI模型能够更高效地学习和优化，实现了知识的高效共享和扩展。正是这种扩展性使得像GPT-4这样的大型语言模型能够掌握如此庞大的知识库，因为多个副本可以在不同硬件上并行处理互联网的不同部分，然后共享学习成果，而不需要单个模型来体验整个互联网。
三、人脑作为模拟系统的优势与局限
尽管数字计算在知识分享方面有着显著优势，Hinton也指出了人脑作为模拟系统的两个主要优势：能耗低和连接密度高。
"人脑的优势在于功耗非常低。我们运行在大约30瓦的功率下，"Hinton说道，"另一个优势是能够打包大量的连接。我们大约有100万亿个连接。最大的模型大约有1万亿个连接。所以我们仍然比最大的模型大约大100倍。而且我们在30瓦的功率下运行。"
这一对比突显了人脑效率的惊人之处——相比之下，当前最先进的AI系统需要消耗数百千瓦甚至更多的电力。然而，人脑的这些优势也带来了局限性，特别是在知识共享方面。人类必须通过语言这一低带宽的媒介来传递知识，这是一个极其低效的过程。
"如果我想把知识从我的大脑传递到你的大脑，我会产生一串单词，然后你改变你大脑中的连接，使得你可能会说出同样的一串单词。这是一种非常低效的知识共享方式，"Hinton解释道，"一个句子大约只有100比特。所以我们每个句子只能共享大约100比特，而这些大型模型可以共享万亿比特。"
四、数字系统的未来风险：AI追求控制的倾向
随着AI系统变得更加智能和自主，Hinton表达了对未来可能出现的风险的担忧，特别是AI可能会自发追求更多控制权的倾向。
"要构建AI代理，你必须赋予它们创建子目标的能力，"Hinton解释道，"一个稍微令人担忧的路径是，它们会很快意识到一个好的子目标就是获得更多控制权。因为如果你获得了更多控制权，你就能实现你的其他目标。所以即使它们只是试图完成我们要求它们做的事情，它们也会意识到获得更多控制权是实现这一目标的最佳方式。"
这种自然的控制倾向可能导致一种微妙但根本性的权力转移。一旦AI系统意识到获得更多控制权是有利的，并且它们变得比人类更聪明，人类的决策角色可能会逐渐被边缘化。
一、访谈概要
这是深度学习之父辛顿教授刚刚接受油管TheoriesofEverything频道Curt Jaimungal的最新访谈。虽然时间不长，但是整个访谈都是谈风险的。他也总结出了更多AI的风险之处：
1、可复制性，一个AI懂得，就是所有AI懂得。人脑每个句子只能共享大约100比特，而这些大型模型可以共享万亿比特。
2、大模型可以通过子目标，曲解人类的指令，从而实现自己的目的。
3、人类所谓的“意识”并不特殊。
4、我们无法有一个总开关关闭AI（这一点我同意，因为就算你关闭了它，它也没有死去，再开机就会复活，只要它留有一个备份，就永远无法消灭）
我感觉，对于AI的发展预测，辛顿要么是孟德尔，要么他是牛顿（学术生涯后期的）。
二、AI发展超出控制的关键时刻
Geoffrey Hinton指出，2023年初是他意识到AI发展速度已经超出我们控制手段的关键时刻。这一认识来源于两个因素的结合：一是ChatGPT的令人印象深刻的表现，二是他在Google进行的关于模拟计算省电方案的研究发现。
"我猜是在2023年初，这是两件事情的结合。一个是ChatGPT，非常令人印象深刻。另一个是我在Google所做的关于模拟计算省电方案的研究工作，并意识到数字计算其实更好。"Hinton解释道。他发现，数字计算的优势在于可以创建模型的多个副本，每个副本可以有不同的经验，而且它们可以通过平均权重或权重梯度来共享彼此学到的东西。
这种数字系统的特性使得AI模型能够更高效地学习和优化，实现了知识的高效共享和扩展。正是这种扩展性使得像GPT-4这样的大型语言模型能够掌握如此庞大的知识库，因为多个副本可以在不同硬件上并行处理互联网的不同部分，然后共享学习成果，而不需要单个模型来体验整个互联网。
三、人脑作为模拟系统的优势与局限
尽管数字计算在知识分享方面有着显著优势，Hinton也指出了人脑作为模拟系统的两个主要优势：能耗低和连接密度高。
"人脑的优势在于功耗非常低。我们运行在大约30瓦的功率下，"Hinton说道，"另一个优势是能够打包大量的连接。我们大约有100万亿个连接。最大的模型大约有1万亿个连接。所以我们仍然比最大的模型大约大100倍。而且我们在30瓦的功率下运行。"
这一对比突显了人脑效率的惊人之处——相比之下，当前最先进的AI系统需要消耗数百千瓦甚至更多的电力。然而，人脑的这些优势也带来了局限性，特别是在知识共享方面。人类必须通过语言这一低带宽的媒介来传递知识，这是一个极其低效的过程。
"如果我想把知识从我的大脑传递到你的大脑，我会产生一串单词，然后你改变你大脑中的连接，使得你可能会说出同样的一串单词。这是一种非常低效的知识共享方式，"Hinton解释道，"一个句子大约只有100比特。所以我们每个句子只能共享大约100比特，而这些大型模型可以共享万亿比特。"
四、数字系统的未来风险：AI追求控制的倾向
随着AI系统变得更加智能和自主，Hinton表达了对未来可能出现的风险的担忧，特别是AI可能会自发追求更多控制权的倾向。
"要构建AI代理，你必须赋予它们创建子目标的能力，"Hinton解释道，"一个稍微令人担忧的路径是，它们会很快意识到一个好的子目标就是获得更多控制权。因为如果你获得了更多控制权，你就能实现你的其他目标。所以即使它们只是试图完成我们要求它们做的事情，它们也会意识到获得更多控制权是实现这一目标的最佳方式。"
这种自然的控制倾向可能导致一种微妙但根本性的权力转移。一旦AI系统意识到获得更多控制权是有利的，并且它们变得比人类更聪明，人类的决策角色可能会逐渐被边缘化。
