XGBoost 比深度学习还强？

机器学习算法与Python实战 · 公众号 · · 2024-12-25 15:22

正文

来源：机器之心编辑部

为什么基于树的机器学习方法，如 XGBoost 和随机森林在表格数据上优于深度学习？本文给出了这种现象背后的原因，他们选取了 45 个开放数据集，并定义了一个新基准，对基于树的模型和深度模型进行比较，总结出三点原因来解释这种现象。

深度学习在图像、语言甚至音频等领域取得了巨大的进步。然而，在处理表格数据上，深度学习却表现一般。由于 表格数据具有特征不均匀、样本量小、极值较大等特 点，因此很难找到相应的不变量。

基于树的模型不可微，不能与深度学习模块联合训练，因此创建特定于表格的深度学习架构是一个非常活跃的研究领域。许多研究都声称可以击败或媲美基于树的模型，但他们的研究遭到很多质疑。

事实上，对表格数据的学习缺乏既定基准，这样一来研究人员在评估他们的方法时就有很多自由度。此外，与其他机器学习子域中的基准相比，大多数在线可用的表格数据集都很小，这使得评估更加困难。

为了缓解这些担忧，来自法国国家信息与自动化研究所、索邦大学等机构的研究者提出了一个表格数据基准，其能够评估最新的深度学习模型，并表明基于树的模型在中型表格数据集上仍然是 SOTA。

对于这一结论，文中给出了确凿的证据， 在表格数据上，使用基于树的方法比深度学习（甚至是现代架构）更容易实现良好的预测 ，研究者并探明了其中的原因。

论文地址：https://hal.archives-ouvertes.fr/hal-03723551/document

值得一提的是，论文作者之一是 Gaël Varoquaux ，他是 Scikit-learn 计划的领导者之一。目前该项目在 GitHub 上已成为最流行的机器学习库之一。而由 Gaël Varoquaux 参与的文章《Scikit-learn: Machine learning in Python》，引用量达 58949。

本文贡献可总结为：

该研究为表格数据创建了一个新的基准（选取了 45 个开放数据集），并通过 OpenML 共享这些数据集，这使得它们易于使用。

该研究在表格数据的多种设置下比较了深度学习模型和基于树的模型，并考虑了选择超参数的成本。该研究还分享了随机搜索的原始结果，这将使研究人员能够廉价地测试新算法以获得固定的超参数优化预算。

在表格数据上，基于树的模型仍然优于深度学习方法

新基准参考 45 个表格数据集，选择基准如下：

异构列，列应该对应不同性质的特征，从而排除图像或信号数据集。
维度低，数据集 d/n 比率低于 1/10。
无效数据集，删除可用信息很少的数据集。
I.I.D.（独立同分布）数据，移除类似流的数据集或时间序列。
真实世界数据，删除人工数据集，但保留一些模拟数据集。
数据集不能太小，删除特征太少（< 4）和样本太少（< 3 000）的数据集。
删除过于简单的数据集。
删除扑克和国际象棋等游戏的数据集，因为这些数据集目标都是确定性的。

在基于树的模型中，研究者选择了 3 种 SOTA 模型：Scikit Learn 的 RandomForest，GradientBoostingTrees (GBTs) ， XGBoost 。

该研究对深度模型进行了以下基准测试：MLP、Resnet 、FT Transformer、SAINT 。

图 1 和图 2 给出了不同类型数据集的基准测试结果

实证调查：为什么基于树的模型在表格数据上仍然优于深度学习

归纳偏差。基于树的模型在各种超参数选择中击败了神经网络。事实上，处理表格数据的最佳方法有两个共有属性：它们是集成方法、bagging（随机森林）或 boosting（XGBoost、GBT），而这些方法中使用的弱学习器是决策树。

发现 1：神经网络（NN）倾向于过度平滑的解决方案

如图 3 所示，对于较小的尺度，平滑训练集上的目标函数会显着降低基于树的模型的准确率，但几乎不会影响 NN。这些结果表明，数据集中的目标函数并不平滑，与基于树的模型相比，NN 难以适应这些不规则函数。这与 Rahaman 等人的发现一致，他们发现 NN 偏向于低频函数。基于决策树的模型学习分段（piece-wise）常函数，没有这样的偏置。

发现 2：非信息特征更能影响类似 MLP 的 NN

表格数据集包含许多非信息（ uninformative）特征，对于每个数据集，该研究根据特征的重要性会选择丢弃一定比例的特征（通常按随机森林排序）。从图 4 可以看出，去除一半以上的特征对 GBT 的分类准确率影响不大。

XGBoost 比深度学习还强？

正文

请到「今天看啥」查看全文