主成分分析（Principal components analysis）PCA是一个很重要的降维算法，可以用来降噪、消除冗余信息等，只要和数据打交道几乎是必学的。它需要一些前置知识，我自己学的时候总是一知半解，后来才知道是这些前置知识基础没打牢固，为了彻底搞明白，我另外写了几篇文章，理清了其中用到的一些知识，基础不好的同学可以先过一下：带你深入理解期望、方差、协方差的含义一文读懂特征值分解EVD与

最小二乘法存在不可逆和病态问题，导致解析解不可计算或不稳定，岭回归是一种有效的解决方法，以损失无偏性来换取稳定解， 本文介绍详细介绍了岭回归的基本原理，并从L2正则化角度来进行了解释。

分

在上文一文让你彻底搞懂最小二乘法（超详细推导）中我们提到过，发明最小二乘法的勒让德认为，让误差的平方和最小估计出来的模型是最接近真实情形的(误差=真实值-理论值)。换句话说，勒让德认为最佳的拟合准则是使 yiy_{i}yi​与 f(xi)f(x_{i})f(xi​)的距离的平方和最小，即：L=∑i=1n(yi−f(xi))2L=\sum_{i=1}^{n}(y_{i}-f(x_i))^{2}L=i

最小二乘法是一种最常用的解决回归问题的方法，它通过最小化误差的平方和来寻找 拟合数据的最佳匹配函数，本文详细介绍了最小二乘法的原理，并从几何角度解释了最小二乘法的几何意义

最小二乘法是一种最常用的解决回归问题的方法，它通过最小化误差的平方和来寻找 拟合数据的最佳匹配函数，本文详细介绍了最小二乘法的原理，并从几何角度解释了最小二乘法的几何意义

一些前置知识，期望、方差、协方差概念及其相关公式参见定义皮尔逊相关系数，简称相关系数，严格来说，应该称为“线性相关系数”。这是因为，相关系数只是刻画了X，Y之间的“线性”关系程度。换句话说，假如X与Y有其它的函数关系但非线性关系时，用相关系数来衡量是不合理的。相关系数定义为：ρX,Y=cov⁡(X,Y)σXσY=E((X−μX)(Y−μY))σXσY=E(XY)−E(X)E(Y)E(X2)−E2(

评价指标的引出为什么要引出这么多评价指标，它是基于什么样的需求？在生活中，最常用的就是准确率，因为它定义简单而且比较通用，但在机器学习中，它往往不是评估模型的最佳工具， 特别是在数据分布不平衡的时候，请看一个例子：比如我们训练了一个预测地震的模型，预测类别只有两个：0：不发生地震、1：发生地震，当前有100个测试集，如果模型地无脑把每一个测试用例都预测为0，那么它就达到99%的准确率，但实际上它并

最小二乘法是一种最常用的解决回归问题的方法，它通过最小化误差的平方和来寻找 拟合数据的最佳匹配函数，本文详细介绍了最小二乘法的原理，并从几何角度解释了最小二乘法的几何意义