你听说过最小一乘吗？

首先

我们先说说最小二乘法

据说第一个想出最小二乘法的人是高斯大神。1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的轨迹来寻找谷神星都没有结果。时年24岁的高斯上神想到了最小二乘法，估算了谷神星的轨道，于是发现了谷神星。之后他将最小二乘法发表于1809年的著作《天体运动论》中。时至今日，最小二乘法仍是最常用的线型拟合方法。

我们知道，最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小。这里的“二乘”指的是用平方来度量观测点与估计点的远近（在古汉语中“平方”称为“二乘”），“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小。从这个上也可以看出，最小二乘也可用于拟合数据模型。

对于一组方程：

如果方程的个数n>大于变量的个数k，那么这组方程是无解的，这符合现实情况，我们只分析几个变量，而产生的数据结果是无穷的，反映在坐标图上就是所有样本点不可能全都在一条回归线上。那么无解如何求参数呢？只能求出一组最优解，使得每个方程左右两边尽可能接近（无法相等），有很多种方法可以达到目的，其中两种方法是：

1. 计算方程两边的绝对离差之和，使其达到最小，即

此方法为最小一乘法。

2. 计算方程两边的离差平方和，使其达到最小，即

此方法为最小二乘法

由上可以看出，最小一乘法和最小二乘法的求解思想是相同的，都是在离差最小状态下求解参数。

最小一乘法和最小二乘法虽然在求解思想上相同，但是求解过程却差别很大，最小一乘法由于绝对值符合的存在，使得计算起来很复杂，需要借助计算机实现，并且没有确定的估计量表达式，其结果可能不是唯一的，而最小二乘法只需要求导即可，结果是唯一的，在高斯经典假设条件下，最小二乘法估计出的参数还具有无偏性、线性、最小方差性三个优良特质，这也使得最小二乘法得到广泛应用，成为参数估计最基本的方法。

满足最小一乘法的目标函数最小的Y是关于X的条件中位数，即：最小一乘回归线是中位数回归，即中位数使得观测点和估计点的距离绝对值最小（大家可以试着去证明）。而满足最小二乘法的目标函数最小的Y是关于X的条件均值，即：最小二乘回归线是均值回归，即平均值使得观测点和估计点的距离平方和最小。

由中位数和均值的统计性质也可得知，中位数不易受到极值影响，而均值容易受到极值影响，在数据中存在极值或数据分布呈偏态情况下，中位数比均值更具代表性。如果数据是对称分布的，没有极值的影响，那么最小一乘法和最小二乘法的结果基本相同，因为在对称分布的数据中，中位数和均值是一致的，此时从便捷的角度考虑，可选择最小二乘法。如果数据呈偏态分布，数据中有极值存在，此时最小一乘法比最小二乘法更能代表数据变动特征。严格来讲，最小二乘法的使用前提是数据满足高斯经典假设，这样得出的估计结果才具有优良性质，只是由于大样本的渐近性以及最小一乘法计算过于复杂，才使得基本满足假设条件就可使用最小二乘法。

如图所示，由于数据样本中包含了一个奇异值，拉高了数据样本的均值（绿色╋），同样也改变了最小二乘回归线的趋势。综上所述，虽然最小二乘法已经被认为是估计参数最普遍采用的方法，我们仍然需要了解最小一乘法的优劣，并在适当的时候加以采用。

来源 | 北京大学LaCOAS