Intel开源了基于Apache Spark的分布式深度学习框架BigDL。BigDL借助现有的Spark集群来运行深度学习计算,并简化存储在Hadoop中的大数据集的数据加载。
BigDL适用的应用场景主要为以下三种:
直接在Hadoop/Spark框架下使用深度学习进行大数据分析(即将数据存储在HDFS、HBase、Hive等数据库上);
在Spark程序中/工作流中加入深度学习功能;
利用现有的 Hadoop/Spark 集群来运行深度学习程序,然后将代码与其他的应用场景进行动态共享,例如ETL(Extract、Transform、Load,即通常所说的数据抽取)、数据仓库(data warehouse)、功能引擎、经典机器学习、图表分析等。
原文链接:
https://mp.weixin.qq.com/s?__biz=MzA5NzkxMzg1Nw==&mid=2653161905&idx=1&sn=ec3621a208a1a9b01d1d4e94ae72afba&chksm=8b4934dfbc3ebdc9cabf2947093881e579602574048e801e8bee08b0245042e5adb339fa0fe9&scene=0&pass_ticket=PzgKiAUwqnKmsFDS3nTMYrG5D2AMeEhBiuWZ64ngSDA%3D#rd