本文转自微信公众号“量子位”，作者：关注前沿科技。
金磊 发自 凹非寺
量子位 | 公众号 QbitAI
继李飞飞、Bengio、何恺明之后，在刚刚的
NeurIPS 2024
中，
Ilya Sutskever
最新演讲也来了。
虽然时长仅有15分钟左右，但内容依旧看头十足。
例如这一句：
Pre-training as we know it will end.
我们所熟知的预训练即将终结。
而之于未来，Ilya还预测道：
what comes next is superintelligence: agentic, reasons, understands and is self aware.
接下来将是超级智能：代理、推理、理解和自我意识。
那么为何会有如此？我们一起来看看完整演讲。
回顾十年技术发展
Ilya先是用一张十年前的PPT截图开启了这次演讲，那时候深度学习还处于探索阶段。
在2014年的蒙特利尔，他和团队（还有Oriol Vinyals和Quoc Le）首次提出了如今成为AI领域基石的深度学习理念。
Ilya展示了当时的一张PPT，揭示了他和团队的核心工作：
自回归模型
、
大型神经网络
和
大数据集
的结合。
在十年前，这些元素并不被广泛看作成功的保证，而今天，它们已经成为人工智能领域最重要的基础。
例如在谈到
深度学习假设
时，Ilya强调了一个重要观点：
如果有一个10层的大型神经网络，它就能在一秒钟内完成人类能做的任何事情。
他解释说，
深度学习的核心假设是人工神经元与生物神经元的相似性。
基于这一假设，如果人类能够在0.1秒钟内完成某项任务，那么同样的任务，一个训练良好的10层神经网络也能完成。
这一假设推动了深度学习的研究，并最终实现了当时看似大胆的目标。
Ilya还介绍了自回归模型的核心思想：
通过训练模型预测序列中的下一个token，当模型预测得足够准确时，它就能捕捉到整个序列的正确分布。
这一思想为后来的语言模型奠定了基础，特别是在自然语言处理领域的应用。
当然除了“押对宝”的技术之外，也有“押错”的。
LSTM（长短期记忆网络）就是其中之一。
Ilya提到LSTM是深度学习研究者在Transformer之前的主要技术之一。
尽管LSTM在当时为神经网络提供了强大的能力，但它的复杂性和局限性也显而易见。
另一个便是并行化（parallelization）。
尽管现在我们知道pipeline并不是一个好主意，但当时他们通过在每个GPU上运行一层网络，实现了3.5倍的速度提升。
Ilya认为，
规模假设
（scaling hypothesis）是深度学习成功的关键。
