【观点】大数据带来的弊病？近因效应

36大数据 · 公众号 · 大数据 · 2017-05-27 08:35

正文

世界上90%的数据都是过去几年里产生的，你可能已经熟知这个统计了。这是真的。我能找到的关于这个表述的最早的一个陈述可以追溯到2013年五月，但一直显著地持续这个趋势。确实，过去三十年以来每两年世界上数据的总量便会提高到十倍——这个比率甚至使得发现处理器性能加倍的摩尔定律都相形见绌。

这样一个信息增长比率所带来的一个问题是现在这个时刻的数据总是比才过去不久的要出现得大得多。想象一下回顾一本描绘你人生前八年的相册，从出生到成年。假设你有你人生头两年的两张照片。假定在匹配现在这样一个信息增长比率下，你将会拥有印象深刻的2000张六岁到八岁的照片；20万张十岁到十二岁的；以及惊人的两亿张十六岁到十八岁的照片。也就是说在最后两年里每一秒种便会有超过三张照片产生。

“当你开始寻求更长远的视角去回顾过去时，你会发现现在的东西太多而过去的东西又太少。”

当然，这并不是全球数据的一个完美的类比。一开始，世界上许多数据的增长都是因为更多的人参与创造出了更多的信息资源以及更庞大更细致的格式。但是关于均衡性的观点是有根据的。如果你打算回顾像上面一样的记录的话或者尝试着分析它，你将发觉离现在越近的东西越会变得毫无意义。记录这么多次而有用的信息却更少，为什么会这样呢？

“短期的分析不只是无效的——它们经常是无用的甚至误导人的”

现实生活中多数复杂现象经常也是这样的：如股票市场、经济、公司兴衰、战阵与和平、人际关系以及王朝更迭。短期的分析不单单是无效的——它们经常是无用甚至误导人的。瞧瞧众多经济学家排着队宣布像2009年金融危机这样的事件是不可能发生的，直到它真的发生了。在那种程度上可以做到有效预测的那种概念本身就是问题的一部分。

值得一提的是在决定数据去留时新奇经常是主要的考虑因素。推陈出新：在这个数字趋势的世界上，搜索算法本质上偏向于新鲜事物，所谓的超链停用从最高法院决定到整个社会媒体服务业等各方面十分猖獗。对于当下的偏向从结构上在我们周边的所有科技中已经根深蒂固，尤其要归因于我们大约五年就丢弃大多曾经闪亮的机器习惯。

有许多的数据集是不能复原的，当完成的时候价值是极大的：基因序列；人口数据；地理和物理学的困难知识。然而，若科学越不严谨，规模就越可能与质量成反比—更重要的是时间本身就是一个过滤器。我们要么仔细选择忍受什么，有哪些是重要的，还有要带着有意义的心态去捕捉我们后退的过去，要么它的印记被现在不断增加的噪音所替代。

时间的削弱是有多方面的，因为在它仍然是一个限制因素里面有一个至关重要的意义：人的时间和注意力的可用性。企业，个人和政府都有相当多的信息，与他们几年前相比。然而，在白天的日子里他们没有任何可用的关注，董事会成员，首席执行官，民选官员或者几个小时的时间。越来越好的工具的存在帮助决策者对他们所拥有的信息提出有意义的问题-制造者对他们拥有的信息提出有意义的问题-但你只能分析可企及的问题。单纯地积累不是一种答案。在一个越来越大的数据时代，你选择不知道的事情和你所做的一样重要。

本文作者Tom Chatfield，妙妙妙妙妙、zml 编译

End

你投稿，我送书

为了让大家能有更多的好文章可以阅读，36大数据联合华章图书共同推出「祈文奖励计划」，该计划将奖励每个月对大数据行业贡献（翻译or投稿）最多的用户中选出最前面的10名小伙伴，统一送出华章图书邮递最新计算机图书一本。投稿邮箱:[email protected]

点击查看：你投稿，我送书，「祈文奖励计划」活动详情>>>

阅读排行榜/精华推荐

入门学习

如果有人质疑大数据？不妨把这两个视频转给他

视频：大数据到底是什么都说干大数据挣钱 1分钟告诉你都在干什么

人人都需要知道关于大数据最常见的10个问题

进阶修炼

从底层到应用，那些数据人的必备技能