IBM深度学习重大突破：消化数据时间从数天缩短到数小时

转自 云头条

新浪科技讯 北京时间8月8日下午消息，IBM一直在努力促使计算机变得更智能化、更人性化。本周该公司宣布，已经开发出一种技术，可以大幅缩短处理海量数据并得出有用结论的时间。

IBM使用的“深度学习”技术是人工智能（AI）的一个分支，可模仿人脑的工作原理。它也是微软、Facebook、亚马逊和谷歌的重大关注焦点。

IBM的目标是将深度学习系统消化数据所需要的时间从数天缩短到数小时。IBM研究所的IBM研究员和系统加速及记忆主管希拉里·亨特（Hillery Hunter）说，这些改进可以帮助放射学家更快、更准确地找到病变部位，并读取大量医学图像。

到目前为止，深度学习主要是在单一服务器上运行的，因为在不同计算机之间移动大量数据的过程太过复杂。而且，如何在许多不同服务器和处理器之间保持数据同步也是一个问题。

IBM在周二的公告中说，已经开发出了能够将这些任务分配到64台服务器的软件，这些服务器总共有256个处理器，可在速度方面取得巨大飞跃。凡是拥有IBM Power系统服务器的用户，以及其他想要测试的技术人员，均可获得这项技术。

IBM使用了64个自主开发的Power 8服务器，每一个都将通用的英特尔微处理器和英伟达图形处理器连接起来，并使用快速的NVLink连接，以促进两种芯片之间的数据流传输。

在此之上，IBM采用了技术人员所说的集群技术来管理所有这些移动部件。集群技术可在给定服务器的多个处理器和其他63个服务器中的处理器之间充当通信警察。

如果流量管理不正确，一些处理器就会闲置，处于“吃不饱”的状态。每个处理器都有自己的数据集，同时还需要来自其他处理器的数据，以获得更大的图像。亨特解释说，如果处理器不同步，它们就学不到任何东西。

亨特告诉《财富》杂志:“我们的想法是改变你训练深度学习模式的速度，并真正提高你的工作效率。”

亨特说，将深度学习从一个带有8个处理器的服务器扩展到64个服务器，每个服务器有8个处理器，可以将性能提高50-60倍。

Pund-IT公司创始人查尔斯·金（Charles King）对IBM的项目印象深刻，他说后者已经找到了一种“扩大”系统的方法，额外增加的处理器能提高性能。

例如，在理论上，将处理器扩容100%应该获得100%的性能提升。但实际上，由于复杂的管理和连接问题，这种效益永远不会发生。

但IBM称，其系统通过由加州大学伯克利分校创建的“咖啡因”深度学习框架，在256个处理器之间实现了95%的扩展效率。之前的记录是由Facebook人工智能研究公司创造的，扩展效率达到了89%。

“IBM最新95%的扩展效率似乎太好了，不可能是真的，”帕特里克·莫海德（Patrick Moorhead）说，他是德克萨斯州奥斯丁市一家研究公司的总裁和创始人。

IBM表示，在图像识别方面，IBM系统再次使用了“咖啡因”框架，在7个小时内识别了750万张图片，准确率达到了33.8%。微软之前的记录是29.8%，而达到这一准确率花了10天时间。

用外行人的话来说，IBM声称已经开发出了比现有深度学习技术更快、更精确的技术。当然，它还需要使用IBM的Power系统硬件和集群软件。

除了“咖啡因”框架，IBM还表示，流行的谷歌TensorFlow框架同样可以在这种新技术上运行。莫海德说，值得注意的是，IBM在运用自己在高性能计算方面的专业知识，同时，也采纳诸如Tensorflow和“咖啡因”之类的外部资源，这种做法有助于该项技术更广泛地适用于一系列深度学习应用。（斯眉）