专栏名称: 大数据挖掘DT数据分析
实战数据资源提供。数据实力派社区，手把手带你玩各种数据分析，涵盖数据分析工具使用，数据挖掘算法原理与案例，机器学习，R语言，Python编程，爬虫。如需发布广告请联系： hai299014
目录
相关文章推荐
大数据文摘  ·  从黑神话到哪吒2盲盒，一文读懂“首发经济” ·  昨天  
天池大数据科研平台  ·  阿里开源R1-Omni，DeepSeek同款 ... ·  昨天  
数据派THU  ·  DeepMind发布Matryoshka（套 ... ·  2 天前  
CDA数据分析师  ·  【干货】我手里有好几个产品，该怎么分配资源？ ... ·  2 天前  
大数据与机器学习文摘  ·  民间大神魔改 4090 48G 秒杀 ... ·  3 天前  
51好读  ›  专栏  ›  大数据挖掘DT数据分析

机器学习中，正则化是怎么回事？

大数据挖掘DT数据分析  · 公众号  · 大数据  · 2017-02-02 22:34

正文



数据挖掘入门与实战  公众号： datadw


在 机器学习 中最大的危险就是过拟合，为了解决过拟合问题，通常有两种办法，第一是减少样本的特征（即维度），第二就是我们这里要说的“正则化”（又称为“惩罚”,penalty）。


从多项式变换和线性回归说起

在非线性变换小节中，我们有讨论Q次多项式变换的定义和其包含关系，这里如果是10次多项式变换，那么系数的个数是11个，而2次多项式的系数个数是3。从中我们可以看出，所有的2次多项式其实是10次多项式加上一些限制，即w3=w4=...=w10=0。



基于上面的讨论，我们希望能将二次多项式表示成十次多项式再加上一些约束条件，这一步的目的是希望能拓宽一下视野，在推导后面的问题的时候能容易一些。


这个过程，我们首先要将二次多项式的系数w拓展到11维空间，加上w3=w4=...=w10=0这个条件得到假设集合H2；然后为了进一步化简，我们可以将这个条件设置的宽松一点，即任意的8个wi为0，只要其中有三个系数不为0就行，得到一组新的假设空间H2'，但这个问题的求解是一个NP-hard的问题，还需要我们修正一下；最后，我们还需要将这个约束条件进一步修正一下得到假设集合H(C)，给系数的平方的加和指定一个上限，这个假设集合H(C)和H2'是有重合部分的，但不相等。
最后，我们把H(C)所代表的假设集合称为正则化的假设集合。
下图表示了这个约束条件的变化：



正则化的回归问题的矩阵形式



由上图所示，我们现在要求解的是在一定约束条件下求解最佳化问题，求解这个问题可以用下面的图形来描述。


本来要求解Ein的梯度，相当于在一个椭圆蓝色圈中求解梯度为零的点，而下面这个图表示，系数w在半径是根号C的红色球里面（w需要满足的约束条件），求解蓝色区域使得梯度最小的点。


那么，最优解发生在梯度的反方向和w的法向量是平行的，即梯度在限制条件下不能再减小。我们可以用拉格朗日乘数的方法来求解这个w。




Ridge Regression

Ridge Regression是利用线性回归的矩阵形式来求解方程，得到最佳解。



Augmented Error

我们要求解这个梯度加上w等于0的问题，等同于求解最小的Augmented Error，其中wTw这项被称为regularizer(正则项)。我们通过求解Augmented Error，Eaug(w)来得到回归的系数Wreg。这其实就是说，如果没有正则项的时候(λ=0)，我们是求解最小的Ein问题，而现在有了一个正则项(λ>0)，那么就是求解最小的Eaug的问题了。



不同的λ造成的结果



从上图可以看出，当λ=0的时候就会发生过拟合的问题，当λ很小时(λ=0.0001)，结果很接近理想的情况，如果λ很大(λ=1),会发生欠拟合的现象。所以加一点正则化(λ很小)就可以做到效果很好。

正则化和VC理论

我们要解一个受限的训练误差Ein的问题，我们将这个问题简化成Augmented Error的问题来求解最小的Eaug。







请到「今天看啥」查看全文


推荐文章
大数据文摘  ·  从黑神话到哪吒2盲盒，一文读懂“首发经济”
昨天
天池大数据科研平台  ·  阿里开源R1-Omni，DeepSeek同款RLVR首度结合全模态情感识别，网友：可解释性+多模态学习=下一代AI
昨天
数据派THU  ·  DeepMind发布Matryoshka（套娃）量化：利用嵌套表示实现多精度LLM的低比特深度学习
2 天前
CDA数据分析师  ·  【干货】我手里有好几个产品，该怎么分配资源？-波士顿矩阵
2 天前
大数据与机器学习文摘  ·  民间大神魔改 4090 48G 秒杀 5090！老黄显卡炒作被打脸，“最失败 50 系显卡”也支棱起不来了？
3 天前
南方周末  ·  视频|神户牛肉是吹牛吹出来的吗？
8 年前
VIKAN薇  ·  谁还买发财树呀，家里养这几种植物，立刻美十倍！
7 年前
TechWeb  ·  绝没歧视欺骗消费者！华为再次回应P10“闪存门”事件
7 年前
深交所  ·  安奈儿披露招股书拟于近期在深市发行新股并上市
7 年前
跟大厨学做菜  ·  女儿嫁给父亲，晚上竟然.....道德沦丧！
7 年前
Sov5搜索   ·   小百科   ·   今天看啥   ·   移动版
51好读 - 好文章就要读起来!