谷歌与CMU联合发文：审视数据对深度学习的重要性（附论文）

视觉数据集的奇怪案例：尽管GPU计算能力和模型尺寸在过去五年中不断增加，但是训练数据集的大小却惊人地保持不变。这是为什么？如果我们使用我们的资源来增加数据集大小，会发生什么？

本论文采取的第一步，是明晰“超大规模数据”与深度学习之间的神秘关系。当然，重要的是，如何收集比ImageNet还大的数据集。为了测试当前模型的极限和上限，我们可能需要一个几乎比ImageNet大100倍的数据集。事实表明，收集1M图像的1000个类别，每个问题将需要1000万美元。ImageNet使用了几种启发式（例如标签层级）来减少问题，从而将成本降低到10万美元。但是，大于100倍的数据集仍然需要超过1000万美元。

在本论文中，我们利用了一个已经存在的JFT图像数据集，该数据集由Geoffrey Hinton等科学家最早提出。JFT数据集拥有超过3亿张图像，标有18291个类别。注释是自动获得的，因此，这些注释比较嘈杂，并不是详尽无遗的。这些注释已经使用复杂的算法进行清理，以提高标签的精度；然而，精度仍然有大约20％的误差。我们将使用这些数据来研究数据量与视觉性能之间的关系。具体来说，我们将研究视觉表征学习（预训练）的数据的能力。我们评估各种视觉任务的学习性能：图像分类、对象检测、语义分割和人体姿态评估。我们的实验产生了一些令人惊讶（和一些预期）的发现：

• 更好的表征学习真的有用！

我们的第一个观察是，大规模数据有助于表征学习，这是被我们研究的每个视觉任务的性能改善所证明的。

这表明，收集更大规模的数据集以研究预训练过程，可能会对该领域产生极大的好处。我们的研究结果还表明，无监督或自监督表征学习方法的光明前景。数据量似乎可以超越标签空间的噪音。

• 性能随着训练数据的数量级线性增加！

也许我们发现的最令人惊奇的要素是，视觉任务的性能与用于表示学习的训练数据（对数量表）的数量之间的关系。我们发现这种关系还是线性的！即使是3亿张训练图像，我们对所研究的任务也没有观察到任何平台效应。

• 容量至关重要！

我们还观察到，为了充分利用3亿张图像，需要更高容量的模型。例如，在ResNet-50的情况下，COCO对象检测的增益（1.87％），比使用ResNet-152（3％）时，要小得多。

长尾训练：我们的数据有相当长的尾巴，表征学习似乎有效。这种长尾似乎不会对卷积神经网络的随机训练产生不利影响（训练仍然趋于收敛）。

最新技术成果：最后，我们的论文使用从JFT-300M获得模型，在几个基准上提出了新成果。例如，一个单一的模型（没有任何bell和whistle）AP（目标检测中衡量检测精度的指标）达到 37.4，而COCO检测基准的AP为34.3。

想要更多了解此论文，欢迎下载 https://arxiv.org/abs/1707.02968。

为保证发文质量、树立口碑，数据派现设立“错别字基金”，鼓励读者积极纠错。

若您在阅读文章过程中发现任何错误，请在文末留言，或到后台反馈，经小编确认后，数据派将向检举读者发8.8元红包。

同一位读者指出同一篇文章多处错误，奖金不变。不同读者指出同一处错误，奖励第一位读者。

感谢一直以来您的关注和支持，希望您能够监督数据派产出更加高质的内容。