专栏名称: 大数据挖掘DT数据分析
实战数据资源提供。数据实力派社区,手把手带你玩各种数据分析,涵盖数据分析工具使用,数据挖掘算法原理与案例,机器学习,R语言,Python编程,爬虫。如需发布广告请联系: hai299014
目录
相关文章推荐
数据派THU  ·  【NeurIPS2024】用于缺失值数据集的 ... ·  昨天  
数据派THU  ·  【CMU博士论文】优化的新视角: ... ·  3 天前  
黑马程序员  ·  大数据BI工程师,如何利用AI技术赋能工作? ·  3 天前  
黑马程序员  ·  大数据BI工程师,如何利用AI技术赋能工作? ·  3 天前  
IDC咨询  ·  发展不及预期,GenAI+Data市场趋势分 ... ·  4 天前  
IDC咨询  ·  发展不及预期,GenAI+Data市场趋势分 ... ·  4 天前  
51好读  ›  专栏  ›  大数据挖掘DT数据分析

针对用户活跃度分析中如何应用回归方法?

大数据挖掘DT数据分析  · 公众号  · 大数据  · 2017-02-28 22:42

正文



数据挖掘入门与实战  公众号: datadw


回归分析是研究一个变量(因变量)和另一个变量(自变量)关系的统计方法,用最小二乘方法拟合因变量和自变量的回归模型,把一种不确定的关系的若干变量转化为有确定关系的方程模型近似分析,并且通过自变量的变化来预测因变来预测因变量的变化趋势,在回归分析中两个变量的地位是不平等的,考察某一个变量的变化是依存于其他变量的变化程度,就是存在因果关系。

今天将利用回归分析对游戏数据分析的某些指标进行分析探讨。


今天针对DAU、PCU、ACU、新登等指标进行回归分析。一般而言我们可以使用Excel就能做一元回归分析,Excel做回归分析有两种方式:散点图和回归分析工具。散点图通过添加趋势线可以直观的显示自变量和因变量的关系,如果不存在明显的线性或者曲线关系,就放弃建立回归模型,趋势线能够输出方程和拟合有度(R-square,该值越接近1,方程拟合越好)。第二种方法采用回归分析工具,能够更加详细的输出回归分析指标相关信息,便于更加仔细的进行分析和预测。


回归分析分为线性回归分析和非线性回归分析,首先来看一下线性回归分析。

如果我们使用线性回归分析其实有些前提要考虑:

1)  自变量与因变量的关系,是否是呈直线,是否是一个变量依存于另个变量的变化程度,如刚才所言,变量之间的地位是不平等的。

2)  因变量是否符合正态分布。

3)  因变量数值之间是否独立。

4)  方差是否齐性。


一般来说,按照回归分析工具得出的结果来看,应着重看看残差(residual)是否是正态、独立以及方差齐性,残差就是因变量的实际值与估计值的差值。其实实际应用中,这些理论的条框我们有时候搞不懂,那么我们可以通过其他办法来看,这就是通过散点图就能把以上条框搞定。


是否呈现直线关系,通过散点图就能看出来,如下图所示,大致呈现直线关系。

对于正态分布可以考察残差的正态概率图,如果正态概率图呈现一条直线表示符合正态分布,当然了也可以通过正态性检验方法来检验一下是否符合正态分布。


是否方差齐,可以用残差的分布来看,即以因变量的预测值为x轴,以残差为y轴作图,如果残差无明显的分布,表明方差齐性。如果有一定的趋势,可能存在方差不齐的情况,如下图随着x轴的增加残差的范围逐渐增大,明显的方差不齐的情形。

对于是否独立,也可以通过图形来看, 随着时间的变化,因变量应该没有任何趋势,否则可能表明因变量之间有一定的相关性。还可通过Durbin-Watson法检验是否独立。

今天我们将探讨DAU与PCU、PCU与ACU、DAU与首登三组的回归分析。

首先来看DAU与PCU的回归分析。我们选取一个月的数据,作为分析数据,首先我们来绘制散点图(这里不具体讲解散点图绘制方法)


DAU与PCU

我们绘制散点图,并选择线性趋势线,得到如下的散点图:

之后我们通过回归分析工具进行回归分析结果的汇总来具体解析一下,操作如下:

点击数据|数据分析,如下所示:

找到回归分析

之后确定,并要把进行分析的数据引用单元格选好,残差和正态分布相关选项全部勾选,如下所示。

最后会在新的工作表组生成结果,形式如下所示:

表格术语解释一下:

df=degree of freedom 自由度

SS    Stdev square 方差

MS   Mean square  均方差

F联合检验F值

coefficient回归系数

standard error标准差

T-stat T检验值=回归系数/标准差

P-value P值,T检验值查表对应的P概率值

Lower 95%和upper 95%置信度为95%的下限和上限区间


其实对于建立的回归模型,我们还要进行方程的统计检验,检验的原假设回归系数=0,如果拒绝原假设(p小于置信系数),则回归系数不为0,回归系数或者回归方程显著。


回归工具为我们提供了三张图,分别是残差图、线性拟合图和正态概率图。

如下图为通过回归分析工具得出的回归分析汇总结果:

可以看到R-square为0.68,也就说68%的数据符合这个方程,拟合方程的观测量为31个,计算下来就是有21个数据项是符合该方程的,F统计量在原假设成立前提下概率为2.55944e-06远远小于显著水平0.05,所以方程显著。但是除了做回归方程和回归系数的显著性检验以外,还需要对回归残差做检验,因为回归方程必须满足均值为0,独立,正态分布,否则最小二乘估计对参数做估计就失效。如下为残差图,基本上是零散的分布。基本上可以说残差独立分布,方程参数估计有效。

此外关于正态分布,可以参考以下的正态概率图来分析:

通过以上的回归分析,我们看到每日的DAU确实对于PCU的拉动起到显著作用和影响,但由于拟合方程系数仅为0.68,说明在DAU这个显著影响因素之外还有其他的影响因素,刚才我们计算了31个观测值,有21个符合该方程,10个观测值不符合该方程,其实这个观测值可能周末效应作用,影响了系数的高低。

剩下的PCU与ACU、DAU与新登的回归分析大家自己参照这个过程可以进行,分析需要警惕一点的是不同的游戏,反映出的结论不一样,就如同有的游戏有周末化学反应,而有的游戏就没有,鄙人接触过这种游戏,因此在做回归分析时,要注意这些理论之外的事项,对于分析会有很大的帮助。


p.s.其实SPSS也可以做回归分析,效果比Excel还好一些,不过还是建议大家先把简单的搞好,搞明白,对于DAU、PCU、ACU、新登的回归分析,也可以帮助预测未来数据,回归分析是很复杂的一类分析,虽然在使用操作很简单,不过在其背后有很多值得学习的地方值得思考的地方,还需要多多练习和思考,做数据分析在某个角度和搞科研是一样的,要有严谨的态度和研究分析要求,比如线性回归的使用必须要遵循几个条件,这是非常重要的,也是必须的,如果不确立好这些,做出来的东西也是错误的,就像本来数据是三角形的,你非要用一个圆形的理论和模型来作为分析方法,根本就是错误的。


数据挖掘入门与实战

搜索添加微信公众号:datadw


教你机器学习,教你数据挖掘


长按图片,识别二维码,点关注



  公众号: weic2c   
据分析入门与实战

长按图片,识别二维码,点关注