【牛津大学博士论文】机器学习中的对称性与泛化

数据派THU · 公众号 · 大数据 · 2025-01-24 17:00

正文

来源：专知
本文约1000字，建议阅读5分钟
这项工作旨在理解不变性和共变性对监督学习中泛化能力的影响。

这项工作旨在理解不变性和共变性对监督学习中泛化能力的影响。我们利用平均算子提供的视角，证明了对于任何非共变的预测器，存在一个共变的预测器，其在所有共变性正确指定的回归问题上具有严格较低的测试风险。这构成了对称性（以不变性或共变性的形式）作为有用归纳偏置的严格证明。

我们将这些思想应用于随机设计最小二乘法和核岭回归中的共变性和不变性。这使我们能够在更具体的情境中指定预期测试风险的减少，并通过群体、模型和数据的属性来表达。

在过程中，我们给出了示例和附加结果，展示了平均算子方法在分析共变预测器中的实用性。此外，我们采用了另一种视角，形式化了常见的直觉，即使用不变模型的学习问题归结为轨道代表的形式问题。该形式化自然地扩展到共变模型的类似直觉。最后，我们将这两种视角联系起来，并给出一些未来工作的思路。

关于我们

推荐文章

艺恩数据 · 2025京东服饰春夏趋势白皮书

17 小时前

大数据文摘 · Claude 3.7的编程能力太强了，强到会砸碎很多人的饭碗。

昨天

数据派THU · 【博士论文】在时空系统中学习因果表示

昨天

CDA数据分析师 · 《CDA考试模拟题库》助你轻松拿下一级考试！

昨天

CDA数据分析师 · 敏捷算法建模训练营周末班3月8日（周六）开班，最后1个名额别错过

昨天

钱眼 · 岁末年初，到底该如何“调仓换股”？

8 年前

海蓝博士 · 他把语言暴力拼成武器，用3200个姓氏造车，得了大奖就算了，居然还促成立法，简直是666···

8 年前

跟大厨学做菜 · 在家里请客，这9个菜绝对能撑场面！

7 年前

环球旅行 · 云南私藏的神秘古村落，去过3个算你厉害。

7 年前

海报网 · 哇塞| 被称“日本第一美女”的佐佐木希，直播卸妆素颜竟亮了！

7 年前