DeepMind 联合 CMU 近日提出一种结合模型结构分层表示和进化策略的高效架构搜索方法，通过比较人工设计的架构、使用强化学习找到的架构、使用随机或进化搜索找到的架构的实验结果，研究者发现这种搜索方法能有效找到性能超越人工设计的架构。
论文：Hierarchical Representations for Efficient Architecture Search
论文链接：https://arxiv.org/abs/1711.00436
我们探索了多种高效的神经架构搜索方法，介绍了一种简单而强大的进化算法，该算法可以发现达到当前最佳结果的新架构。我们的方法结合了一种新型分层遗传表示体系（hierarchical genetic representation），可以模仿人类专家常用的模块化设计模式，和支持复杂拓扑的表达能力很强的搜索空间。我们的算法能够高效地发现性能超越大量人工设计的图像分类模型的架构，在 CIFAR-10 上获得了 top-1 误差率 3.6% 的结果，在 ImageNet 上取得了 20.3% 的结果。该算法相对于当前最好的神经架构搜索方法是很有竞争力的，并且在这个任务上展示了新的当前最佳的进化策略。我们还展示了使用随机搜索的结果，在 CIFAR-10 上获得的结果仅比 top-1 准确率少 0.3%，在 ImageNet 上获得的结果仅比 top-1 准确率少 0.1%，而且我们的算法还将架构搜索的时间从 36 个小时减少到了 1 个小时。
我们的主要贡献总结如下：
-
我们提出了描述神经网络架构的分层架构表示；
-
我们的研究发现，即使用过分简化的随机搜索也能找到性能不错的图像分类架构，这体现了选择搜索空间的重要性；
-
我们展示了进化搜索的一种高效、可扩展的变体，可以进一步提升结果，并达到进化架构搜索技术的最佳已发表结果。
图 1. 三级分层架构表示图示。下行展示了 1 级的初始操作
如何组合成一个 2 级 motif
，上行展示了 2 级 motif
如何组合成一个 3 级的 motif
。
