摘要：两名计算机科学家对一种广泛使用的用于快速查询数据的技术稍加改动，大幅减少“深度学习”所需要的计算量，因而节省了精力和时间。
美国赖斯大学的两名研究员对一种广泛使用的用于快速查询数据的技术稍加改动，大幅减少深度学习所需要的计算量，因而节省了精力和时间。深度学习是一种计算密集型的机器学习。
首席研究员、赖斯大学的计算机学助理教授安苏马里·施里瓦斯塔瓦说：“这适用于任何一种深度学习架构，这种方法呈亚线性扩展；这就意味着，运用这种方法的深度神经网络越庞大，节省的计算量就会越大。”
研究成果将于8月在加拿大新斯科舍省哈里法克斯召开的2017年 KDD 大会上予以介绍。它可解决谷歌、Facebook和微软等科技巨头在竞相构建、训练和部署大规模深度神经网络时面临的最大问题之一，它们希望将深度神经网络用于越来越多的不同产品，从自动驾驶汽车、语言翻译工具到智能回复电子邮件，不一而足。
施里瓦斯塔瓦和赖斯大学的研究生赖恩·斯普林已表明，“哈希法”（hashing）是一种久经考验的数据索引方法，稍加改动，就可以显著减少深度学习的计算开销。“哈希法”需要使用智能哈希函数，而这种哈希函数将数据转换成易于管理的小数（名为哈希）。哈希存储在表中，表的运行方式酷似印刷书中的索引。
斯普林说：“我们的方法结合了两种技术：一种巧妙改动的局部敏感哈希法和稀疏反向传播，在准确性不大幅下降的情况下，减少所需要的计算量。比如说，在小规模测试中，我们发现可以将计算量最多减少95%，同时准确性与标准方法相比只相差于1%以内。”
深度学习网络的基础构建模块是人工神经元。虽然上世纪50年代起初设想人工神经元作为人类大脑中生物神经元的模型，但其本质上就是数学函数，这种等式在收到数据后可执行操作，并转化成输出结果。
在机器学习中，所有神经元开始都一样（就像一块空白），不断训练后变得特殊化。在训练期间，向网络“展示”大量数据，每个神经元都成为识别数据中特定模式的专家。最低层的神经元执行最简单的任务。比如说，在照片识别应用软件中，低级神经元可能识别来自暗处的光线或物体边缘。来自这些神经元的输出结果被传递给网络中下一层的神经元，这些神经元搜索各自的特殊模式。
即便只有几层的神经网络也能学会识别脸部、狗猫、停车标志和学校巴士。
施里瓦斯塔瓦说：“为网络层添加更多的神经元增强了表达力（expressive power），我们想要网络规模多大这方面没有上限。据说谷歌在训练一个拥有1370亿个神经元的网络。”他表示，相比之下，可用来训练和部署这类网络的计算能力却是有限制的。
他说：“如今使用的机器学习算法大多数是30年前至50年前开发的。它们在设计当初并没有考虑到计算的复杂性。但是出现了‘大数据’后，计算周期、能源和内存等资源存在基本限制。我们的实验室专注于克服那些限制。”
斯普林表示，在大规模深度网络上，哈希法减少计算、节省能源的效果来得还要显著。
他说：“由于我们在利用大数据中固有的稀疏性，节省幅度会随着网络规模的增加而加大。比如说，假设一个深度网络有 10 亿个神经元。针对任何给定的输入（比如一张狗的照片），只有少数几个神经元变得兴奋。用数据术语说，我们称之为稀疏性（sparsity）；正是由于稀疏性，网络规模扩大后，我们的方法节省的效果会更显著。所以，我们已证明了拥有1000 个神经元的网络可节省95%的计算量，数学原理表明：如果是拥有10 亿个神经元的网络，我们就能节省99%以上的计算量。”
题为《通过随机化哈希，实现可扩展、可持续发展的深度学习》的论文可在此（https://arxiv.org/abs/1602.08194）访问。
相关阅读：
