专栏名称: 机器学习研究会

机器学习研究会是北京大学大数据与机器学习创新中心旗下的学生组织，旨在构建一个机器学习从事者交流的平台。除了及时分享领域资讯外，协会还会举办各种业界巨头/学术神牛讲座、学术大牛沙龙分享会、real data 创新竞赛等活动。

【学习】为什么Kaggle数据分析竞赛者偏爱XGBoost

机器学习研究会 · 公众号 · AI · 2017-02-25 20:02

正文

点击上方 “机器学习研究会” 可以订阅哦

摘要

转自：云栖社区

摘要： 本文介绍了深受Kaggle数据分析竞赛参赛者欢迎的一个梯度提升算法实现-XGBoost，在分类算法中，XGBoost以速度制胜，精度与Sci-Kit Learn相当，在Kaggle竞赛中打败了AdaBoost（自适应提升算法）和RandomForest（随机森林算法）。

作者介绍：Matthew Emery，加拿大数据科学家，RAP爱好者，毕业于英属哥伦比亚大学。

Email：[email protected]

LinkedIn：https://www.linkedin.com/in/lstmemery

GitHub：https://github.com/lstmemery

在数据科学领域有一个叫做“没有免费的午餐”定理，具体来说就是，对于任意两个算法，当它们在面对所有可能的问题时的表现被平均化后，这两个算法是等价的，如果这个定理成立，那为什么2015年在数据科学竞赛网站Kaggle上赢得比赛的绝大部分方案都采用了XGBoost呢？XGBoost是如何工作的呢？它运行起来又像什么呢？

本文打算回答这些问题，注意，对你而言，不一定需要精通数学，但需要知道决策树是怎么一回事。