【NeurIPS2024】通过超球面能量最小化 CKA 增强贝叶斯深度学习中的多样性

数据派THU · 公众号 · 大数据 · 2024-11-23 17:00

正文

来源：专知
本文约1000字，建议阅读5分钟
在多样化集成和超网络的实验中，我们的方法在合成和实际异常检测任务中显著优于基线方法，尤其在不确定性量化方面。

基于粒子的贝叶斯深度学习通常需要相似性度量来比较两个网络。然而，简单的相似性度量缺乏置换不变性，不适合用于网络比较。提出了基于特征核的中心核对齐（CKA）用于比较深度网络，但在贝叶斯深度学习中尚未作为优化目标使用。在本文中，我们探索了在贝叶斯深度学习中使用 CKA 来生成多样化的集成和输出网络后验的超网络。我们注意到 CKA 将核投影到单位超球面上，而直接优化 CKA 目标在两个网络非常相似时会导致梯度衰减。为了解决这一缺陷并提高训练稳定性，我们提出在 CKA 核的基础上采用超球面能量（HE）的方法。此外，通过利用基于 CKA 的特征核，我们推导出施加于合成生成的异常值示例的特征排斥项。在多样化集成和超网络的实验中，我们的方法在合成和实际异常检测任务中显著优于基线方法，尤其在不确定性量化方面。