正文
![]()
今天，让我们来谈谈线性回归。没错，作为数据科学界元老级的模型，线性回归几乎是所有数据科学家的入门必修课。抛开涉及大量数统的模型分析和检验不说，你真的就能熟练应用线性回归了么？未必！
时至今日，深度学习早已成为数据科学的新宠。即便往前推10年，SVM、boosting等算法也能在准确率上完爆线性回归。
一方面，线性回归所能够模拟的关系其实远不止线性关系。线性回归中的“线性”指的是系数的线性，而通过对特征的非线性变换，以及广义线性模型的推广，输出和特征之间的函数关系可以是高度非线性的。另一方面，也是更为重要的一点，线性模型的易解释性使得它在物理学、经济学、商学等领域中占据了难以取代的地位。
由于机器学习库scikit-learn的广泛流行，常用的方法是从该库中调用linear_model来拟合数据。虽然这可以提供机器学习的其他流水线特征(例如：数据归一化，模型系数正则化，将线性模型传递到另一个下游模型)的其他优点，但是当一个数据分析师需要快速而简便地确定回归系数(和一些基本相关统计量)时，这通常不是最快速简便的方法。
下面，我将介绍一些更快更简洁的方法，但是它们所提供信息量和建模的灵活性不尽相同。
方法一：Scipy.polyfit( ) or numpy.polyfit( )
这是一个最基本的最小二乘多项式拟合函数(least squares polynomial fit function)，接受数据集和任何维度的多项式函数(由用户指定)，并返回一组使平方误差最小的系数。这里给出函数的详细描述。对于简单的线性回归来说，可以选择1维函数。但是如果你想拟合更高维的模型，则可以从线性特征数据中构建多项式特征并拟合模型。
方法二：Stats.linregress( )
这是一个高度专业化的线性回归函数，可以在SciPy的统计模块中找到。然而因为它仅被用来优化计算两组测量数据的最小二乘回归，所以其灵活性相当受限。因此，不能使用它进行广义线性模型和多元回归拟合。但是，由于其特殊性，它是简单线性回归中最快速的方法之一。除了拟合的系数和截距项之外，它还返回基本统计量，如R2系数和标准差。
方法三：Optimize.curve_fit( )
这与Polyfit方法是一致的，但本质上更具一般性。这个强大的函数来自scipy.optimize模块，可以通过最小二乘最小化将任意的用户自定义函数拟合到数据集上。
对于简单的线性回归来说，可以只写一个线性的mx + c函数并调用这个估计函数。不言而喻，它也适用于多元回归，并返回最小二乘度量最小的函数参数数组以及协方差矩阵。
