【牛津大学博士论文】基于元学习和对称性的数据高效深度学习探索

数据派THU · 公众号 · 大数据 · 2024-11-08 17:00

正文

来源：专知
本文约1000字，建议阅读5分钟
我们提出了一些旨在提高深度学习系统数据效率的新技术和模型。

近年来，深度学习的进展在很大程度上得益于数据和计算资源的增加。尽管数据的丰富性使模型在某些领域表现良好，但在实际应用中（例如医学领域），数据往往稀缺或难以收集。此外，也存在将大型数据集视为许多相关的小数据集的情境，其中一个小数据集相关任务的数据可能不充足。同时，人类智能通常只需少量样本即可在新任务上表现出色，这强调了设计数据高效AI系统的重要性。本论文探讨了应对这一挑战的两种策略：元学习和对称性。

元学习将数据丰富的环境视为许多小型、独立数据集的集合。每个小数据集代表一个不同的任务，但它们之间存在潜在的共享知识。利用这种共享知识可以设计出在相似领域中高效解决新任务的学习算法。相比之下，对称性是一种直接的先验知识。通过确保模型的预测在输入发生任何变换后仍保持一致，这些模型可以提高样本效率和泛化能力。

在后续章节中，我们提出了一些旨在提高深度学习系统数据效率的新技术和模型。首先，我们展示了基于条件神经过程（CNPs）的编码器-解码器风格的元学习方法的成功应用。其次，我们引入了一类新型的表达力强的元学习随机过程模型，这些模型通过在函数空间中堆叠神经参数化的马尔可夫转移算子序列构建而成。最后，我们提出了群等变子采样/上采样层，以解决传统子采样/上采样层中等变性的丧失问题。利用这些层可以构建端到端的等变模型，从而提升数据效率。

https://ora.ox.ac.uk/objects/uuid:98de960f-f7eb-4437-8c37-174b82374b21