业界 | 英特尔推出用于Apache Spark的深度学习库

英特尔今天宣布推出开源 BigDL，一个用于 Apache Spark 开源集群计算框架的分布式深度学习库。

深度学习库是英特尔公司在行业中实现最先进的人工智能战略的一部分。在去年 11 月宣布的公司战略，详细介绍了英特尔所做的工作——通过旗下的人工智能学院（Intel® Nervana™）使人工智能训练和工具被更广泛的开发人员所获取。

BigDL 具有基于 Spark 架构的高效大规模分布式深度学习库，使大数据用户和数据科学家更容易获得深度学习。BigDL 使得 AI 专家能够像在数百个领域的数千个应用程序中工作的数据科学家一样研究数据。

BigDL 还可以作为用于数据存储、处理和挖掘、特征工程以及机器和深度学习工作量等的统一数据分析平台（Hadoop / Spark）。它允许开发人员将深度学习应用程序编写为在现有 Spark 或 Hadoop 集群之上运行的标准 Spark 程序，以使深度学习工作量与他们使用的数据更直接地接触。BigDL 已经在 Databricks Spark 平台上运行。

英特尔软件与服务部高级副总裁兼总经理 Doug Fisher 说：「BigDL 是一个开源项目，我们鼓励所有开发人员在 BigDL Github 上与我们联系，采样代码并为项目做出贡献。」

BigDL： 在 Apache Spark 上的分布式深度学习

BigDL 是一个为 Apache Spark 而建的分布式深度学习库；通过 BigDL，用户能够以标准的 Spark 程序编写深度学习应用，并能直接在现有的 Spark 或 Hadoop 集群上运行。

丰富的深度学习支持。BigDL 是在 Torch 之后搭建的模型，为深度学习提供全面支持，包括经由 Tensor 的数字计算和高级神经网络；此外，用户还可以通过使用 BigDL 把 Caffe 或 Torch 里预训练的模型加载到 Spark 程序中。

极其完美的运行表现。为了获取非常好的运行表现，在每个 Spark 任务中 BigDL 使用因特尔 MKL 和多线编程。因此，在单个节点的至强（Xeon，与主流 GPU 比较）处理器上的处理比即用部署的开源框架 Caffe、Torch 以及 TensorFlow 有量级上的提升。

高效的横向扩展性能。BigDL 能高效的进行横向扩展从而实现大数据的数据分析，通过发布 Apache Spark（快如闪电般的分布式数据处理框架），以及 Spark 上有效实施的同步 SGD 和全局归约交流机制。