专栏名称: 大数据应用
数据应用学院被评为2016北美Top Data Camp, 是最专业一站式数据科学咨询服务机构,你的数据科学求职咨询专家!
目录
相关文章推荐
CDA数据分析师  ·  2025 CDA数据分析师就业班课程更新通知 ·  3 天前  
艺恩数据  ·  艺恩数据祝您开工大吉! ·  1 周前  
艺恩数据  ·  新春贺岁,福满人间! ·  2 周前  
数据派THU  ·  AAAI ... ·  5 天前  
大数据分析和人工智能  ·  用DeepSeep赚钱的10种靠谱模式 ·  5 天前  
51好读  ›  专栏  ›  大数据应用

如果你会用数据分析NBA每场比赛,你还会担心自己因为赌错结果输光所有虎扑金豆么?

大数据应用  · 公众号  · 大数据  · 2018-05-25 09:06

正文

本文作者小释界

首发于微信公众号小释界 ( ID: insightUX )

大数据应用授权转载


在重温了的MIT的《the analytics edge》课程后,我决定把该课程整理出来,输出一些数据分析的专题文章。本篇是和线性回归有关的,我选取了一个相对容易理解、文化差异不是很大的数据分析案例来和大家分享:利用NBA的球队数据去预测未来赛季的得分。当然,有兴趣的也可以在公众号后台回复“NBA”获得数据下载链接,一起参与分析。


注意:由于课程是用R语言教学,所以参与分析最好有一定的R语言基础知识和统计学基础知识。




我们先把训练数据集加载出来,看看数据的基本特征。

NBAstr(NBA)


数据包含从1980-2011年所有队伍的数据,可以看出有835个观测值,20个变量,变量依次为赛季结束时间(SeasonEnd),队伍名称(Team),该年是否进入季后赛(Playoffs),常规赛赢的场数(W),常规赛得分(PTS,Points),对手常规赛得分(oppPTS),投篮命中次数(FG,Field Goals),投篮次数(FGA,Field Goals Attempted),两分球命中(X2P)(R不适应以数字开头,如果开头是数字,R在加载时会带上X),两分球出手次数(X2PA,2 Points Attempted),三分球命中(X3P),三分球出手次数(X3PA),罚球(FT,free throw),前场篮板球(ORB,Offensive Rebounds),后场篮板球(DRB,Defensive Rebounds),助攻(AST),抢断(STL),盖帽(BLK),失误(TOV)。


每个篮球队的目标都是想尽可能地进入季后赛,那么,需要赢得多少场比赛才能进入季后赛呢?

table(NBA W)


我们可以从命令返回的结果看到,第一列中,1表示球队进入季后赛,0表示球队没有进入季后赛;第一行和第四行表示进入季后赛的次数。可以看出若一个球队赢得场数超过34场,其逐渐有进入季后赛的趋势;若一个球队赢得场数超过42场后,有很大几率进入季后赛;若一个球队赢得场数超过48场,那么肯定会进入季后赛。其实利用Team、Playoffs、W这三个变量做出下图也可以大概看出上诉趋势。



在篮球运动中,分数比对手多就算赢,以现有的数据来看,是否可以用分数差异(自己球队的分数减去对手球队的分数)来预测赢球的场数呢?可以尝试一下。

NBA PTS-NBA$oppPTS

#增加一列变量
plot(NBA W)

#看分数差异与赢球场数的关系

可以发现分数差异与赢球场数呈现正相关,似乎可以用分数差异来预测赢球场数。那就试着建立回归模型。

WinsReg

summary(WinsReg)



可以看出分数差异这个变量是显著的,R^2也是非常高的。也验证了刚刚的假设——分数差异与赢球场数有很好的线性关系。 此时,可以得到回归方程: W = 41 + 0.0326*PTSdiff

之前我们了解到,若一个球队赢得场数超过42场(W)后,有很大几率进入季后赛,这句话对于分数差异(PTSdiff)的意义是什么呢?

即 41 + 0.0326*PTSdiff > 42,可以得出 PTSdiff > 30.67,即为了赢得至少42场球赛,与对手的分数差异至少要在31分。


下一步就要建立分数的回归方程模型。

PointsReg

summary(PointsReg)


SSE

SSE

[1] 28394314

SSE很大,不好解释,我们来看看RMSE和平均数。

RMSE

RMSE

[1] 184.4049

mean(NBA$PTS)

[1] 8370.244

这样来看,常规赛平均分在8370.2,误差在184.4分,似乎还行,但还可以对模型进行优化,去掉一些不显著的自变量。根据上图,我们可以去掉TOV这个变量,因为它的p值是最大的,显著的可能性比较小。 注意:根据最大p值来去掉变量只是一种数据逻辑,实际情况中可能不一定遵循这个规则,因为还要考虑到业务逻辑

PointsReg2

summary(PointsReg2)


结果可以看出,R^2几乎是一致的,那么去掉TOV这个变量似乎是合理的。再试着去掉下一个变量,根据p值,选择DRB。

PointsReg3

summary(PointsReg3)



可以看出,R^2还是没什么变化,去掉DRB似乎也合理。再试着去掉BLK。

PointsReg4

summary(PointsReg4)


现在模型中所有的变量都显著,模型也相对简单了,R^2还是0.899。此时再看看SSE和RMSE,确保移除自变量后不会浮动太大。

SSE_4

RMSE_4

SSE_4

[1] 28421465

RMSE_4

[1] 184.493

虽然移除自变量让SSE有所增加,但是变化非常小,RMSE基本保持不变,所以 PointsReg4 模型变得相对更加简单、更容易解释。


其实,最终回归模型的选择总是会涉及预测精度(模型尽可能地拟合数据)与模型简洁度(一个简单且能复制的模型)的调和问题,选择“最佳”回归模型没有唯一标准,需要结合数据逻辑与业务逻辑去共同决定,所以这一点在课程中并没有详细说明。在此,我再提供两种选择模型的方式。


方式一: 用基础安装中的anova( )函数可以比较两个嵌套模型的拟合优度。所谓嵌套模型,即它的一些项完全包含在另一个模型中。在PointsReg的多元回归模型中,我们发现DRB、BLK和TOV的回归系数不显著,此时可以检验不含这三个变量的模型(PointsReg4)与包含这三项的模型(PointsReg)预测效果是否一样好。

anova(PointsReg,PointsReg4)


此处,模型2嵌套在模型1中。anova( )函数同时还对是否应该添加DRB、BLK和TOV到线性模型中进行了检验。由于检验不显著(p=0.852),因此我们可以得出结论:不需要将这三个变量添加到线性模型中,可以将它们从模型中删除。


方式二: AIC(Akaike Information Criterion)也可以用来比较模型,它考虑了模型的统计拟合度以及用来拟合的参数数目。AIC值越小的模型要优先选择,它说明模型用较少的参数获得了足够的拟合度。


AIC(PointsReg,PointsReg4)


此处AIC值表明没有DRB、BLK和TOV的模型更佳。

以上两种方式可以简单地比较两个模型,如果模型更多,就比较复杂了,需要用到逐步回归法和全子集回归法,本篇就不再深入了。



有了分数的回归模型,就可以试着预测2012-2013赛季的得分情况。此时需要另外一个数据集——测试数据集。

NBA_test

str(NBA_test)


PointsPredictions

PointsPredictions







请到「今天看啥」查看全文