【牛津大学博士论文】机器学习中的对称性与泛化

数据派THU · 公众号 · 大数据 · 2025-01-24 17:00

正文

来源：专知
本文约1000字，建议阅读5分钟
这项工作旨在理解不变性和共变性对监督学习中泛化能力的影响。

这项工作旨在理解不变性和共变性对监督学习中泛化能力的影响。我们利用平均算子提供的视角，证明了对于任何非共变的预测器，存在一个共变的预测器，其在所有共变性正确指定的回归问题上具有严格较低的测试风险。这构成了对称性（以不变性或共变性的形式）作为有用归纳偏置的严格证明。

我们将这些思想应用于随机设计最小二乘法和核岭回归中的共变性和不变性。这使我们能够在更具体的情境中指定预期测试风险的减少，并通过群体、模型和数据的属性来表达。

在过程中，我们给出了示例和附加结果，展示了平均算子方法在分析共变预测器中的实用性。此外，我们采用了另一种视角，形式化了常见的直觉，即使用不变模型的学习问题归结为轨道代表的形式问题。该形式化自然地扩展到共变模型的类似直觉。最后，我们将这两种视角联系起来，并给出一些未来工作的思路。

关于我们

数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。

新浪微博：@数据派THU

微信视频号：数据派THU

今日头条：数据派THU

推荐文章

软件定义世界（SDX） · 最新一批17家“灯塔工厂”名单公布，8家位于中国（附189家全名单）

昨天

CDA数据分析师 · 【测一测】解锁数据分析潜力！量身定制的测试挑战等你来战！

昨天

CDA数据分析师 · 【数说春运】这8个有趣的春运数据，你还不知道吧？

2 天前

数据派THU · 顾燚：我的大数据能力提升之路 | 提升之路系列（七）

4 天前

CDA数据分析师 · 【干货】半监督学习（下）Label Spreading

4 天前

ZOL中关村在线 · 平安夜送苹果的只有中国？带你扒一扒圣诞这个洋节

8 年前

云头条 · ARM拟在中国设合资公司中方控股

7 年前

哈尔滨发布 · 【冰城新闻】哈尔滨市学员通过网络可自选学车时间和教练丨先学后交钱，自主预约培训时段

7 年前

精读 · 阅读，让你走进不同的世界，获得持久的力量

7 年前

陈果A股策略 · 【安信策略·主题周报】9月，主题投资将继续保持活跃

7 年前