专栏名称: 数据分析
专注大数据,移动/互联网,IT科技,电子商务,数据分析/挖掘等领域的综合信息服务与分享平台。合作|约稿请加qq:365242293
目录
相关文章推荐
数据派THU  ·  如果你的PyTorch优化器效果欠佳,试试这 ... ·  2 天前  
软件定义世界(SDX)  ·  央国企成立数科公司底层逻辑与相关定位 ·  4 天前  
软件定义世界(SDX)  ·  数字化转型样板企业定义及评价标准体系 ·  6 天前  
软件定义世界(SDX)  ·  2024年“数据要素×”大赛全国总决赛获奖名 ... ·  1 周前  
51好读  ›  专栏  ›  数据分析

系列经验分享 :快速认知数据的详细步骤(4)

数据分析  · 公众号  · 大数据  · 2017-01-03 18:30

正文

关联阅读:

系列经验分享 :快速认知数据的详细步骤(1)

系列经验分享 :快速认知数据的详细步骤(2)

系列经验分享 :快速认知数据的详细步骤(3)


相关系数,一个在数据应用中极为普遍却极为容易用错的概念。有必要单独进行讨论。


  • 利用相关系数理解数据之间的关系

传统的数据认知过程到“数据分布”这个环节就应该结束了。但我准备搬出自己的几个“土方法”,来让各位领略一下江湖偏方的效果。首先要说的就是相关系数。


相关系数的计算公式你大可不必在意,只需要理解:相关系数衡量了两个变量变动方向的统一程度,是一个-1到1的值;1代表完全正相关,-1代表完全负相关。别小看这个概念,目前许多分析师并没有真正理解。我们用下面的图中的信息来阐明相关系数的真正含义。




上图中我们设计了ABCD4个变量,以变量A为对比的基准,变量B的数字均是A的一半,说明两者的变动方向一致,即A下降的时候B也下降,A上升的时候B也上升,且变动幅度一致,即每次上升都增长200%,每次下降都下降50%,因此AB之间的相关系数是1,即完全正相关。A与C对比,两者变动方向完全相反,且相同方向变动的幅度完全相同,即A下降都是50%,C下降也是50%,只是不是同时发生,他们的相关系数为-1,即完全负相关。A与D对比,两者虽然数字差了100倍,但变动方向完全相同,变动幅度不同,两者的相关系数为0.77,说明两者有强的正相关,但不是完全正相关。从折线图的变化中,我们应该能够直观地理解,何谓相关系数为1,何谓相关系数-1,何谓相关系数0.77。


在Excel中,相关系数计算的实现有两种方式。第一种是通过“数据分析”模块中的相关系数计算功能,如下图所示。第二种实现方式是利用函数CORREL(),在函数的参数中输入两列数据,就能得出相关系数。相关系数的算法其实有皮尔逊相关系数和斯皮尔曼相关系数,Excel里默认采用皮尔逊相关系数。



理解相关系数的含义,我归纳为如下三句话:

  1. 相关系数衡量的是变动方向和变动的幅度,与两个数据序列的单位无关。

  2. 相关系数的数值并不能代表两个变量间的数量变化关系,A与D的相关系数为0.77,并不意味着A增长1个单位,D增长0.77个单位。

  3. 相关系数并不能表达因果关系。

讲完了相关系数的含义,那什么时候应用相关系数呢?应用太广泛了,归纳起来有如下几个应用场景:


  • 利用相关系数来发觉数据间隐藏的联系
    啤酒和尿布的例子相信大家都听过了,这就是典型的相关分析,也是典型的相关系数的应用。我在拿到数据集后,习惯于针对所有数值型的指标做一个相关系数矩阵,查看所有指标两两之间的相关系数。做这件事情最大的目的就是看看有没有让我惊喜的相关关系。只要能发现隐藏的相关关系,都能成为一个很好的研究项目,进而形成一个填补空白的业务决策。做从0到1的事情,其价值可是远远高于做从1到100的事情哦。


  • 利用相关系数来减少统计指标
    在针对某项业务设计指标体系时,我们经常会罗列出很多指标。但过多的指标会给后续的报告制作、信息解读和产品开发带来巨大的成本。那么相关系数就是删减指标的一种方式。如果发现某两个指标间的相关系数非常高,一般大于0.8,那么我们就两者择其一。


  • 利用相关系数来挑选回归建模的变量
    在建立多元回归模型前,我们需要解决把那些数据放入模型作为自变量。最常规的方式就是先计算所有字段与因变量的相关系数,把相关系数较高的放入模型。然后计算自变量间的相关系数。若自变量间的相关系数高,说明存在多重共线性,需要进行删减。


  • 利用相关系数来验证主观判断这点或许是现实业务中最有使用必要的。决策层或者管理层经常会根据自己的经验,主观地形成一些逻辑关系。最典型的表述方式就是“我认为这个数据会影响到那个数据”。到底有没有影响?快速地计算一个相关系数再做判断吧。相关系数的应用能够让决策者更冷静,更少地盲目拍脑袋。虽然相关系数不能表达因果关系,但有联系的两件事情,一定会在相关系数上有所反映。

关联文章阅读(点击标题即可)

有深度 | 深入浅出之数据型产品。

世界那么大 | 如何才能成就一个好的数据产品经理。

干货 : 阿里巴巴数据产品经理工作(总结篇)。


作者: 胡晨川 ;转自: 川术 微信公众号;

版权声明:本号内容部分来自互联网,转载请注明原文链接和作者,如有侵权或出处有误请和我们联系。

商务合作|约稿 请加qq:365242293 。


更多相关知识请回复:“ 月光宝盒 ”;

数据分析(ID : ecshujufenxi )互联网科技与数据圈自己的微信,也是WeMedia自媒体联盟成员之一,WeMedia联盟覆盖5000万人群。