2017年大数据和数据科学的六大发展趋势

CDA数据分析师 · 公众号 · 大数据 · 2017-05-14 21:55

正文

原作者 Igor Bobriakov
编译 CDA 编译团队
本文为 CDA 数据分析师原创作品，转载需授权

如今我们越来越依赖于数据和信息，企业通过数据科学和机器学习来处理大量数据。深度学习和人工智能得到迅速发，同时人们也在期待其他大数据相关产业的发展。那么，让我们来看看 2017 年大数据和数据科学主要发展趋势。

1. 越来越多的企业将其预测分析需求转移到云端

许多公司正在将其数据和应用程序移动到云端。这将大大管理和配置计算资源的复杂性。

大多数顶级云提供商都在云端开发自己的机器学习服务。这使得组织机构无需大量投资和组建大型数据科学团队组就能够利用机器学习技术。

以下是一些机器学习和人工智能服务（MLaaS 和 AIaaS）的提供方商：

• IBM 沃森

• 微软 Azure 机器学习 API

• Google 预测 API

• 亚马逊机器学习 API

• BigML

与数据打交道的人非常清楚，如果没有对数据进行有效地分析并将其转化为可行方案，数据则是无用的。2017 年，云机器学习服务使用量的增加将有助于改善和加速各公司各行业把数据转化为行动决策。

2. 更多的组织将采用Hadoop和Spark大数据平台。

在 2017 年，Hadoop 和 Spark 等大数据技术将稳步发展。Hadoop 主要的优势在于能够收集大量数据，然后将这些数据分发到并行运行的低成本服务器。

为了使 Hadoop 在测试环境之外运行，许多企业将在 2017 年将其转移到云端，并从计算中抽象出存储空间。

Apache Spark 是使用内存计算且增长最快的大型数据平台之一。

根据最近的研究，在公共云使用 Spark 的用户百分比（61％）高于使用 Hadoop YARN（36％）的用户，这一趋势将在 2017 年继续。此外，Spark 宣称其通过“内存分析”操作模式将在 2017 年稳步发展。这能够达到更快的计算，在某些情况下比 Hadoop Map Reduce 框架快 100 倍。

3. 对更强的数据安全需求正在上升

越来越多的网络攻击使得人们越发关注数据安全，这在近几年变得更为重要。预计安全分析成本将会上升。因此，要跟上数据安全领域的发展趋势是至关重要的。

最近，安全趋势之一是增加机器学习算法的使用，包括在各种业务领域的异常检测和在数据科学安全的等领域进行深入学习。

安全数据科学的另一个显着趋势是利用人工智能会话接口（又称机器人）实现对出现的威胁提供援助和安全响应的自动化。这样的机器人已经在诸如 Slack 的一些平台中使用。

如今，快速发展的领域之一是行为生物识别。它可以独立使用，同时若与机器学习结合使用，就能够降低成本并提高效率。而且它可用于识别另一端的人员以及他们正在做什么，同时还能区分用户和机器人。

未来对网络安全的要求越来越复杂，安全专家也将需要适应新的挑战。

4. 深入学习技术正在成为主流

深入学习在 2016 年得到很多关注，许多重要的应用都是通过它来实现的，比如机器翻译和其他形式的语言处理，自动图像字幕生成，对象分类和图像检测，面部识别和自动游戏。

在 2017 年，人工智能不会停止进步，并且越来越多地以人工通用智能（AGI）的形式。毫无疑问，对于数据科学家来说，深度学习将是解决机器学习问题最重要的方法之一。

此外，由于通过各种开放源代码框架（如 TensorFlow 和 Deeplearning4j ）提高了计算能力和该技术的可访问性，深度学习现在已变得越来越普遍。

谷歌，Facebook，微软和百度等顶尖公司正在通过其强大的人工智能研发团队进行进一步的研究。

因此，我们将会看到大量新的深度学习应用程序，例如使用机器学习方法自动校正照片和专业照片处理，这些都会对我们的生活产生重大影响。除此之外，不得不提及便携式设备的兴起，这些设备通过利用机器学习来帮助残疾人看，听或以其他方式感知周围的环境。

5. 对话接口和聊天机器人将加速发展

在我们生活中出现计算机后，很长一段时间我们都需要用它们的语言与之交流。现在，由于最新发现和技术发展，我们可以教计算机如何用我们的语言进行沟通。会话系统已经从用户适应的模型转变为计算机“倾听”并且根据用户期望的结果进行调整的形式。

会话接口(CI)和聊天机器人中、新的可能性将需要开发人员具备许多新技能。首先，对于用户体验设计师来说，这将是一个巨大的挑战，因为它与当前的用户界面非常不同。在今年，许多程序员和设计师将致力于提高他们在设计和开发聊天机器人方面的技能。

聊天机器人本身将是 2017 年的一个大发展趋势，我们会看到更多创造性的方案使聊天机器人发展到全新水平。目前，聊天机器人技术已经被集成到许多消费应用中。下一步它将在进入其他行业，如零售银行、电子商务、企业解决方案，甚至是市场推广。

那么为什么最近的机器人会变得热门呢？虽然机器人已经存在了很长时间，但是现在人工智能已经可以利用机器学习创造先进产品。一些典型的会话人工智能产品，如谷歌助理和 iOS 操作系统的 Siri ，已经成为智能手机用户不可或缺的产品，而不仅仅是一个有趣的应用程序。

6. 2017年是无人驾驶汽车年

在 2017 年，无人驾驶汽车和自主技术是热门领域。这一趋势已经发展了好几年，但如今该技术已达到了能够进入市场的水平。越来越多的汽车制造商正朝着无人驾驶的方向发展，并运行他们的免手动模式。

许多汽车市场的巨头已经提交了他们的项目。其中包括宝马、沃尔沃、通用汽车、尼桑和特斯拉和谷歌。他们认为，生产这样的汽车将减少交通事故的数量。另一方面，我们也不应该忘记在这项技术的发展过程中会使多少人失业。例如，在美国，司机的职业是全美最受欢迎的职业。这个话题一直是热门的争论话题。

电动汽车现在并不是什么令人惊讶的新鲜事物，随着技术的发展和价格的降低，电动车将逐渐进入我们的生活。无人驾驶技术的兴起之日也即将到来。然而，在这方面仍然存在许多关于安全和立法的问题。

结论

2017 年将是非常激动人心的，特别在人工智能领域充满了新的发现和发展机遇。今年将是“智能之年”，因为我们将看到人工智能和机器学习应用正在成为主流，并对机构和商业领域的发展密不可分，并成为将机器学习与业务结合的公司的关键竞争优势之一。