Ilya 罕见发声在 2024 年 Neurips 大会上演讲
#AI创造营#
“我们所熟知的预训练将会终结”
大致介绍了：
- 深度学习的演进
- 为什么预训练已经达到上限
- 未来的发展方向
- 对超级智能的思考
我转录总结了后面三个部分
预训练终结预测的关键论点：
1. 预训练终结的必然性
演讲者明确表示："预训练将毫无疑问地结束"（Pre-training as we know it will unquestionably end）
2. 终结的核心原因：计算力与数据的不平衡发展
a) 计算能力方面持续增长:
- 硬件性能不断提升
- 算法效率持续改进
- 计算集群规模扩大
- 这些因素共同推动计算能力的指数级增长
b) 数据增长的天然限制:
- "我们只有一个互联网"（we have but one internet）
- 可用的优质数据是有限的
- 演讲者用了一个形象的比喻："数据是AI的化石燃料"（data is the fossil fuel of AI）
- 就像化石燃料一样，数据是在特定时期产生的有限资源
- 我们已经达到了"峰值数据"（peak data）的状态
3. 数据限制的影响
- 虽然现有数据仍然可以支持相当长一段时间的发展
- 但最终必须面对数据量增长有限的现实
- 需要寻找新的解决方案和发展方向
行业未来发展方向：
1. 主要发展方向
a) Agents (智能代理)
- 被广泛认为是未来发展方向之一
- 演讲者提到"很多人都在谈论agents"
- 认为这个方向"最终一定会有所突破"
- 但具体细节仍然模糊
b) 合成数据 (Synthetic Data)
- 被视为一个关键发展方向
- 但演讲者指出这是个很大的挑战
- 提到"弄清楚这意味着什么是一个大挑战"
- 暗示当前对合成数据的理解和应用还不够成熟
c) 推理时计算优化
- 特别提到了O(1)模型作为例子
- 强调在推理阶段优化计算效率的重要性
- 这代表了一个更注重计算效率的发展方向
2. 生物学启发的新思路
演讲者特别分享了一个生物学案例来说明潜在的发展可能：
a) 哺乳动物脑体比研究
- 展示了不同类型哺乳动物的脑重与体重关系图
- 发现常规哺乳动物和非人类灵长类动物遵循相似的比例关系
- 但人类祖先（Hominids）展现出不同的缩放指数
- 这种差异表明可能存在突破性的发展路径
b) 启示
- 证明了系统可以找到不同的发展路径
- 暗示AI发展也可能出现类似的质变
- 当前的扩展方式只是我们找到的第一种方式
- 可能存在其他未被发现的发展路径
3. 长期展望
演讲者对更长远的未来提出了几点思考：
a) 质变可能性
- 未来系统将具有真正的推理能力
- 可能发展出自我意识
- 将产生与当前系统质的不同
b) 不可预测性
- 强调具有推理能力的系统将变得更不可预测
- 类比国际象棋AI对人类棋手的不可预测性
4. 关键观点
- 现有的发展方向都在尝试解决"后预训练时代"的问题
- 需要开放思维，接受多样化的解决方案
- 强调了探索新路径的重要性
- 承认预测未来很困难，各种可能性都存在
演讲者的态度是开放但谨慎的，既认可这些方向的潜力，也承认我们对未来的认知有限。他特别强调，我们当前的扩展方式可能只是众多可能性中的一种，未来可能会出现完全不同的发展路径。
这种多元化的展望对于AI领域的发展具有重要的启发意义，提醒我们要保持开放的心态，准备迎接可能的范式转换。
关于超级智能(superintelligence)的思考：
1. 发展趋势与必然性
- 演讲者明确指出：超级智能是该领域明显的发展方向
- "这显然是我们正在建造的东西"(This is obviously what's being built here)
- 强调超级智能将与当前AI有质的区别
2. 当前AI系统的特点与局限
现状描述：
- 拥有令人难以置信的语言模型能力
- 在某些评估中表现出超人类水平的性能
- 但同时表现出奇怪的不可靠性
- 容易混淆或出现错误
- 很难调和其超人类表现与不稳定性之间的矛盾
3. 未来超级智能的关键特征
a) 真正的智能代理(Agentic)特性
- 当前系统的代理性很弱，"非常非常轻微的代理性，刚刚开始"
- 未来系统将具有真正的代理能力
b) 推理能力的特点
- 将具备真正的推理能力
- 推理能力越强，系统越不可预测
- 对比当前深度学习系统：
- 当前系统主要复制人类直觉
- 类似于"0.1秒反应时间"的直觉处理
- 相对可预测
c) 其他关键特征
- 能从有限数据中理解事物
- 不会轻易混淆
- 可能发展出自我意识
- 自我意识被视为世界模型的自然组成部分
4. 不可预测性的讨论
演讲者特别强调了不可预测性：
- 用国际象棋AI作为例子
- 即使对最优秀的人类棋手来说也是不可预测的
- 这种不可预测性将是超级智能的重要特征
5. 影响与挑战
- 系统将具备"令人难以置信和惊人的能力"
- 将带来与现有系统完全不同的问题和挑战
- 演讲者将具体影响留给听众思考："作为练习留给你们想象"
6. 对未来的态度
- 承认预测未来是不可能的
- "各种可能性都存在"
- 保持开放但谨慎的态度
演讲者的这部分讨论特别强调了未来AI系统与当前系统的质的区别，尤其是在推理能力、不可预测性和自主性方面。他提醒我们需要为这种根本性的变化做好准备，同时也承认我们可能无法完全预测这种转变带来的所有影响。这种思考框架为我们理解和准备AI的长期发展提供了重要的视角。
“我们所熟知的预训练将会终结”
大致介绍了：
- 深度学习的演进
- 为什么预训练已经达到上限
- 未来的发展方向
- 对超级智能的思考
我转录总结了后面三个部分
预训练终结预测的关键论点：
1. 预训练终结的必然性
演讲者明确表示："预训练将毫无疑问地结束"（Pre-training as we know it will unquestionably end）
2. 终结的核心原因：计算力与数据的不平衡发展
a) 计算能力方面持续增长:
- 硬件性能不断提升
- 算法效率持续改进
- 计算集群规模扩大
- 这些因素共同推动计算能力的指数级增长
b) 数据增长的天然限制:
- "我们只有一个互联网"（we have but one internet）
- 可用的优质数据是有限的
- 演讲者用了一个形象的比喻："数据是AI的化石燃料"（data is the fossil fuel of AI）
- 就像化石燃料一样，数据是在特定时期产生的有限资源
- 我们已经达到了"峰值数据"（peak data）的状态
3. 数据限制的影响
- 虽然现有数据仍然可以支持相当长一段时间的发展
- 但最终必须面对数据量增长有限的现实
- 需要寻找新的解决方案和发展方向
行业未来发展方向：
1. 主要发展方向
a) Agents (智能代理)
- 被广泛认为是未来发展方向之一
- 演讲者提到"很多人都在谈论agents"
- 认为这个方向"最终一定会有所突破"
- 但具体细节仍然模糊
b) 合成数据 (Synthetic Data)
- 被视为一个关键发展方向
- 但演讲者指出这是个很大的挑战
- 提到"弄清楚这意味着什么是一个大挑战"
- 暗示当前对合成数据的理解和应用还不够成熟
c) 推理时计算优化
- 特别提到了O(1)模型作为例子
- 强调在推理阶段优化计算效率的重要性
- 这代表了一个更注重计算效率的发展方向
2. 生物学启发的新思路
演讲者特别分享了一个生物学案例来说明潜在的发展可能：
a) 哺乳动物脑体比研究
- 展示了不同类型哺乳动物的脑重与体重关系图
- 发现常规哺乳动物和非人类灵长类动物遵循相似的比例关系
- 但人类祖先（Hominids）展现出不同的缩放指数
- 这种差异表明可能存在突破性的发展路径
b) 启示
- 证明了系统可以找到不同的发展路径
- 暗示AI发展也可能出现类似的质变
- 当前的扩展方式只是我们找到的第一种方式
- 可能存在其他未被发现的发展路径
3. 长期展望
演讲者对更长远的未来提出了几点思考：
a) 质变可能性
- 未来系统将具有真正的推理能力
- 可能发展出自我意识
- 将产生与当前系统质的不同
b) 不可预测性
- 强调具有推理能力的系统将变得更不可预测
- 类比国际象棋AI对人类棋手的不可预测性
4. 关键观点
- 现有的发展方向都在尝试解决"后预训练时代"的问题
- 需要开放思维，接受多样化的解决方案
- 强调了探索新路径的重要性
- 承认预测未来很困难，各种可能性都存在
演讲者的态度是开放但谨慎的，既认可这些方向的潜力，也承认我们对未来的认知有限。他特别强调，我们当前的扩展方式可能只是众多可能性中的一种，未来可能会出现完全不同的发展路径。
这种多元化的展望对于AI领域的发展具有重要的启发意义，提醒我们要保持开放的心态，准备迎接可能的范式转换。
关于超级智能(superintelligence)的思考：
1. 发展趋势与必然性
- 演讲者明确指出：超级智能是该领域明显的发展方向
- "这显然是我们正在建造的东西"(This is obviously what's being built here)
- 强调超级智能将与当前AI有质的区别
2. 当前AI系统的特点与局限
现状描述：
- 拥有令人难以置信的语言模型能力
- 在某些评估中表现出超人类水平的性能
- 但同时表现出奇怪的不可靠性
- 容易混淆或出现错误
- 很难调和其超人类表现与不稳定性之间的矛盾
3. 未来超级智能的关键特征
a) 真正的智能代理(Agentic)特性
- 当前系统的代理性很弱，"非常非常轻微的代理性，刚刚开始"
- 未来系统将具有真正的代理能力
b) 推理能力的特点
- 将具备真正的推理能力
- 推理能力越强，系统越不可预测
- 对比当前深度学习系统：
- 当前系统主要复制人类直觉
- 类似于"0.1秒反应时间"的直觉处理
- 相对可预测
c) 其他关键特征
- 能从有限数据中理解事物
- 不会轻易混淆
- 可能发展出自我意识
- 自我意识被视为世界模型的自然组成部分
4. 不可预测性的讨论
演讲者特别强调了不可预测性：
- 用国际象棋AI作为例子
- 即使对最优秀的人类棋手来说也是不可预测的
- 这种不可预测性将是超级智能的重要特征
5. 影响与挑战
- 系统将具备"令人难以置信和惊人的能力"
- 将带来与现有系统完全不同的问题和挑战
- 演讲者将具体影响留给听众思考："作为练习留给你们想象"
6. 对未来的态度
- 承认预测未来是不可能的
- "各种可能性都存在"
- 保持开放但谨慎的态度
演讲者的这部分讨论特别强调了未来AI系统与当前系统的质的区别，尤其是在推理能力、不可预测性和自主性方面。他提醒我们需要为这种根本性的变化做好准备，同时也承认我们可能无法完全预测这种转变带来的所有影响。这种思考框架为我们理解和准备AI的长期发展提供了重要的视角。
