【NeurIPS2024】通过双曲嵌入学习结构化表示

机器学习研究组订阅 · 公众号 · AI · 2024-12-20 19:20

正文

大多数现实世界的数据集都包含类别之间的自然层次结构，或者具有固有的标签结构，这些结构要么已经存在，要么可以低成本地构建。然而，大多数现有的表示学习方法忽略了这一层次结构，将标签视为置换不变。近期的研究[104]提出显式地利用这些结构信息，但使用欧几里得距离可能会扭曲底层语义上下文[8]。在这项工作中，受到双曲空间在建模层次关系中的优势启发，我们提出了一种新的方法——HypStructure：一种基于双曲结构正则化的方法，用于准确地将标签层次结构嵌入到学习的表示中。HypStructure 是一个简单而有效的正则化器，由基于双曲树的表示损失和居中损失组成。它可以与任何标准任务损失结合，学习基于层次结构的信息特征。在多个大规模视觉基准测试上的大量实验表明，HypStructure 在减少失真和提升泛化性能方面非常有效，尤其是在低维场景下。为了更好地理解结构化表示，我们进行了特征值分析，将表示几何与经验上观察到的改进的分布外（OOD）检测性能关联起来。代码可在 https://github.com/uiuctml/HypStructure 获取。