首先要有目标
所有机器学习，一定得有个目标函数。人类的学习也是如此，学习之前，目标先行。
目标函数，也叫成本函数，损失函数。
模型训练的目标就是让损失函数最小化
。人类学习，也是要不断接近自己的学习目标。
学习目标要大
GPT模型的训练目标，是用一个巨大的神经网络去模拟互联网上的所有人类语言文本，让损失函数最小化。目标基本达成，
GPT把基本上全部的人类知识压缩进了万亿参数的单一模型
，实现了通用认知任务上的卓越表现。
GPT的学习目标不可谓不大。
人类学习也是如此。目标不能太小，你的学习不是为了通过某次考试，取得某个分数。在我看来，人的学习应当以构建个人知识体系为学习目标。
在你在外，人类知识体系（body of knowledge）是一种客观存在，wikipedia 和书籍等都是对人类知识体系的一种整理和构建的实践，我称之为bok1。在你之内，你的脑子里应该有一个自己的个人知识体系，关于一个或多个学科或领域，我称之为 bok2。
个人学习的目标，是缩小bok2和bok1之间的差距，形成你自己的更全面更扎实更强大的bok2。
为什么学习目标要足够大？神经网络训练的实践有一个发现：
参数越多，成本函数最小化越容易。正因为这个规律，用神经网络解决复杂问题比解决简单问题更容易
。所以，AI 现在可以写作编程绘画，但是还没法在餐馆端盘子。
人类学习也是如此。目标足够大，进步才可能足够大，走的才能足够远。
从实例中学习
机器靠
样例学习
（learn from examples），从数据中学习，而非通过规则学习（符号AI路线已经破产多年）。机器通过大量的大量的数据来学习到数据中蕴含的模式和规律，就好像从大豆中压榨出其中丰富的油脂。
人类也应当从实例中学习。一本书，一篇文章，一个知识视频，一次演讲录像，一次面对面交谈，都是你学习的来源。从实例中，你学到丰富的、鲜活的、有意义的知识。
用高质量信息作为学习数据
Garbage in，garbage out。这是机器学习的第一性原理
。如果数据本身不富含意义，哪怕训练数据再多，可能训练出来的大模型也无法实现高级的智能，甚至还会从垃圾材料中学到满嘴脏话。GPT的训练数据集是精心挑选的高质量数据，包括 Wikipedia、书籍、论文、代码以及高质量的互联网文本。
所以，人类的学习是不是也要尽可能用高质量信息作为学习数据？
在一头扎进某本垃圾教科书之前，先精心设计你的学习数据集
。对于任何主题，我通过什么小册子轻松上手登堂入室？通过大师的那本科普书获得大图景（big picture）？哪几本教科书才是全国范围内最好的教科书？有那些知识视频让我更直观更好的理解这个主题？有什么工具能让抽象复杂的知识变得具体而清晰？
学习是从数据中体验意义的过程。只有通过高质量的文章、书籍、视频、课程、网站和工具，才能高效提炼出真正的知识。
从错误中学习
在GPT模型的预训练过程中，数据依次通过神经网络的各层，最终生成下一个token。token的预测值和实际值之间的差异，这是模型的误差（error）。error = diff（预测值, 实际值）。GPT就是通过error来学习，把误差用反向传播的方法反馈回去，调整模型参数，降低损失函数。
预测下一个 token => 得出error => 反向传播 => 梯度下降 => 调整参数 => 预测下一个 token
GPT 只能通过误差来学习，人也是如此，只能从错误中学习到东西。错误和不足，是反馈的重要来源，也是最好的来源。
然而，人是追求奖励逃避惩罚的动物。
教育的规训让人追求正确，回避错误
。在孩子身上尤其明显，孩子会觉得错误不好，正确才好，一直正确一直好（直到ta迎来必然到来的重大挫折）。
我们可以认识到这个思维陷阱并尽量避免：虽然错误让人痛苦，但错误是唯一的学习来源。只有通过错误，人才能学到点什么东西。
唯有学习才能改变自己
GPT模型的训练过程，就是不断调整模型的过程，训练的每一步都在改变模型参数，改变模型本身的连接配置。
人的学习也还如此。每一次费曼，都得到你当前的理解与费曼式理解之间的差距，根据这个差距来调整，查资料，加深理解，再一次费曼。
每一次学习，都在改变你的大脑。不是比喻意义上的改变，而是字面意义上的改变，在生物和物质层面的改变：
短时记忆就是大脑突触之间神经递质增加释放，长时记忆就是基因表达蛋白质合成折叠，形成新的突触连接
。经过充分学习训练的大脑，在结构上不学习的大脑是截然不同的。之间的区别，类似于大脑和脑花之间的区别。
学习改变了大脑，改变了你，字面意义上的改变。
把阅读作为学习方法
GPT的学习，是使用上百万GPU时间做一件事：阅读，阅读整个互联网，阅读几乎所有人类的语言文本
。这个阅读过程被被称为“预训练”，而GPT的阅读，只在做一件事：预测下一个token。而 GPT 的阅读量，是上万亿个 token。
人类的学习，也应该把阅读作为主要方法。scaling law对 GPT 适用，对人类神经网络也同样适用。人大附中早培班要求六年级小学生每年阅读五百万字，约 50 本书。个人认为这是保底要求。
人类学习者，需要首先成为一个贪婪的阅读者：一年五十本书。每天至少阅读一小时。
没有预训练，GPT 无法学习；没有阅读，人类无法学习。
把费曼作为理解方法
GPT的理解，是在万亿维度的意义空间，用注意力机制，在数百层神经网络中，通过上万次的矩阵向量乘法来加工处理文本转化成的数字向量。
text => token => generic embedding => embedding 2 => embedding x => final refined embedding => list of probabilities => next token
对于一个token，GPT用它的上下文来不断关联，提取特征，调整这个向量在语言意义空间中的位置，形成富含意义的、更准确的理解。
人类的理解，也是把知识砖块和它的上下文不断建立丰富的、有意义的关联。最好的理解方法就是费曼技巧。
首先费曼知识砖块，然后不断费曼知识砖块之间的关联。通过清晰的概念以及概念之间的关联，人类形成自己的理解。
把阅读作为学习方法，把费曼作为理解方法，一个概念接着一个概念，一次费曼接着一次费曼。
而且，费曼技巧，就是人类的“预测下一个token”。费曼的实际结果与期待结果之间的差异，就是我们在具体实例学习中得到的 error。针对这个 error，计算梯度，沿着梯度前进一部，你就得到了改进。
把迭代作为进步方法
GPT模型是在万亿token的高质量数据上训练出来的，用反向传播来传递误差，用随机梯度下降来减少模型误差。
每一个token的生成，都是神经网络中上亿神经元的一次激活，都是一次包含万亿参数在内计算。
人类的学习，每一次费曼都是一次对神经网络的调参过程。哪怕是对一个概念的理解和费曼，都不是一蹴而就的。费曼x3，任何一个概念都要至少费曼三遍。在有间隔的多次费曼中，你对一个概念的理解变得越发清晰。
这是一种迭代式的学习闭环。闭环，迭代，这是学习之要义。把迭代作为进步方法。
规模法则，大力出奇迹
GPT模型是遵循规模法则（scaling law）的，规模法则是当前AGI之路的关键方法。wolfram说，“足够大的神经网络当然无所不能”。
人类神经网络，是否遵循规模法则？海量知识砖块的积累，构建出越发庞大、多元的个人知识体系，是否能像 GPT 一样带领个体发展出更强大的智能水平？用简单的话说，人类的学习，是否是“大力出奇迹”，凡事都靠积累？
答案很可能是肯定的。
