经典统计学的直觉正在被现代机器学习颠覆！

剑桥大学机器学习博士生Alicia Curth最近分享了一个令人深思的观点： 我们在统计学课堂上学到的许多直觉，可能并不适用于现代机器学习。

这一发现不仅解释了为什么许多统计学家对双重下降和良性过拟合等现象感到困惑，还揭示了统计学和机器学习之间的一个关键区别。

从固定设计到随机设 计：一个简单却关键的转变

Curth指出，经典统计学直觉主要来自 固定设计设置 ，关注的是 样本内预测误差 。而现代机器学习则评估的是 随机设计下的泛化误差 ，即 样本外预测误差 。这个看似简单的转变，却带来了深远的影响。

以k近邻估计器为例。在样本内预测中，1-NN估计器（即示例本身）的偏差为零。但在样本外预测中，由于新输入没有完美的训练匹配，最复杂估计器的偏差并不一定最低。

偏差-方差权衡的重新审视

Curth通过模拟实验展示了这一差异：

• 在样本内，偏差随复杂度单调变化。

• 在样本外，对于k<10的情况，偏差和方差都倾向于选择较低复杂度的估计器。

这意味着，在样本外预测中， 可能根本不存在经典的偏差-方差权衡 ！

双重下降和良性过拟合：不再神秘

这一发现也解释了为什么双重下降和良性过拟合等现象在经典统计文献中鲜有出现：它们 在样本内设置中根本无法发生 。所有插值模型（无论大小）在样本内都会做出相同的预测。

重新定义"过拟合"

Curth建议我们需要更精确地定义"过拟合"这个术语。从字面上讲，过拟合不可能是良性的，因为这个术语本身就意味着性能下降。相反，我们应该问： 什么时候插值可能是良性的？

在样本内预测中，插值确实不可能是良性的。但在样本外预测中，情况发生了变化：一些插值模型在样本外可能比在样本内更少过拟合。这就是双重下降中第二次下降发生的原因。

现代机器学习方法的独特之处

Curth指出，许多现代机器学习方法在训练和测试时表现不同。例如，随机森林可能在训练时表现为1-NN估计器，但在测试时表现为k-NN估计器。这种灵活性是良性插值的关键。

重新思考统计学教学

Curth认为，我们需要重新思考如何教授偏差-方差权衡和过拟合的直觉。特别是，在讨论这些概念时，需要更精确的词汇，以明确直觉可能适用的情况及原因。

这项研究不仅帮助我们理解现代机器学习现象，还为统计学和机器学习之间架起了一座桥梁。这提醒我们，在面对新的科学发现时，要保持开放和灵活的思维，不断挑战和更新我们的认知。

相关链接