专栏名称: 机器之心
目录
相关文章推荐
机器之心  ·  CVPR ... ·  12 小时前  
爱可可-爱生活  ·  【[140星]AgentKit:AI ... ·  昨天  
爱可可-爱生活  ·  【[29星]LongSpec:长文本场景下的 ... ·  昨天  
爱可可-爱生活  ·  本文创新性地提出了名为 Slam ... ·  昨天  
AIGC开放社区  ·  5步助力企业破局!免费下载微软《AI ... ·  3 天前  
AIGC开放社区  ·  5步助力企业破局!免费下载微软《AI ... ·  3 天前  
51好读  ›  专栏  ›  机器之心

ThunderGBM:快成一道闪电的梯度提升决策树

机器之心  · 掘金  · AI  · 2019-03-08 02:42

正文

阅读 29

ThunderGBM:快成一道闪电的梯度提升决策树

想在 GPU 上使用使用闪电般快速的提升方法?了解这个库就好了。在很多任务上,它都比 LightGBM 和 XGBoost 快。

尽管近年来神经网络复兴并大为流行,但提升算法在训练样本量有限、所需训练时间较短、缺乏调参知识等场景依然有其不可或缺的优势。目前代表性的提升方法有 CatBoost、Light GBM 和 XGBoost 等,本文介绍一项新的开源工作,它构建了另一种基于 GPU 的极速梯度提升决策树和随机森林算法。

项目地址: github.com/Xtra-Comput…

那么我们为什么加速 GBDT 和随机森林?2017 年,一份 Kaggle 调查显示,数据挖掘和机器学习从业者中分别有 50%、46% 和 24% 的人使用决策树、随机森林和 GBM。GBDT 和 随机森林 经常被用来创建当前最佳的数据科学解决方案,这就要求我们能使用 GPU 在大型数据集上完成高效训练。

两棵决策树的集成方法,选自 XGBoost 文档。

尽管 XGBoost 等库已经支持 GPU 了,但毕竟不是一开始就为 GPU 而设计的,因此在优化和加速上会有一些瑕疵。而 ThunderGBM 旨在帮助用户轻松高效地应用 GBDT 和随机森林来解决问题,它可以利用 GPU 完成高效训练。

对于 GPU 而言,ThunderGBM 在很多任务上都比其它几个库要快。

ThunderGBM 的主要特征如下:

  • 通常是其它库的 10 倍。

  • 支持 Python(scikit-learn)接口。

  • 支持操作系统 Linux。

  • 支持分类、回归和排序。

ThunderGBM 预测和训练的整体流程。

ThunderGBM 主要作者包括新加坡国立大学的 Zeyi Wen 和 Qinbin Li、华南理工大学的 Jiashuai Shi 等,指导教师为 NUS 的 Bingsheng He。

入门指南

ThunderGBM 要求开发环境满足 cmake 2.8 或更高版本;对于 Linux,使用 gcc 4.8 或更高版本;C++boost; CUDA 8 或更高版本。







请到「今天看啥」查看全文