多元梯度下降法多元梯度下降法1.定义与公式当特征量不只一个时，例如下图的案例：预测房屋价格时，需要考虑多种因素，我们建立如下的线性回归模型：此时要把θ和x都看成时两个向量。为了寻找数据的最佳函数匹配，求对应的损失函数的最小值：为了方便计算右边最好除以2m，而不是2。由上一节的单变量线性回归的梯度下降算法容易推导出多元的情况：其实无论单变量还是多元公式都是一样的，只是θ0 中的x0为1，计算过程：每

正规方程正规方程的介绍梯度下降算法通过不断迭代调整θ值，使得损失函数J(θ)最终收敛，最终得到最佳匹配数据的函数。而正规方程法则是直接求出θ值。1.直接法：比较直接的是通过求偏导得到θ值。如下图：这种方法很明显有很大的缺陷。适用于特征量比较少的问题，即变量θ比较少时，比较方便。但是在实际问题中，一个模型的特征量可能有几百，几万个，这时候求偏导就不方便了。2.正规方程：直接把变量θ看成实数，而正规方

推荐算法基于内容的推荐算法协同过滤算法低秩矩阵分解均值规范化基于内容的推荐算法有5个电影，4个人对电影的评分，假设每部电影有2种特征量,即x(i)∈R(2)x^{(i)} \in R^{(2)}x(i)∈R(2)，如何估算出图中问号的值呢？我们假设每个用户jjj有一个参数向量θ(j)\theta^{(j)}θ(j)，在此例中θ(j)∈R(2)\theta^{(j)}\in R^{(2)}θ(j)∈

机器学习的两种方法：监督学习和非监督学习监督学习监督学习是指给定一个数据集，（数据集必须包含输入和输出，即特征和目标）从中训练出一个函数模型。当新的数据输入时能够得到预测的输出值。监督学习两种类型：分类 和 回归算法分类eq: 给定多个邮件，并标注垃圾邮件和非垃圾邮件，得到一个训练集。交给算法后得到模型，就可以自动区分垃圾，非垃圾邮件。回归eq: 给定一个数据集，包含每条数据是房屋面积以及它的价格

随机梯度下降和Mini-Batch梯度下降随机梯度下降在大数据背景下，普通梯度下降：由此可见，当数据比较庞大时，比如30亿数据。每次梯度下降时，都需要遍历所有的3亿样本点，再加上要达到全局最优点，需要执行迭代多次梯度下降算法，由此可见普通梯度下降对大数据不适用，需要改进。思想：因为数据比较大，我们直接每输入一个样本就执行一次梯度下降算法，而不是遍历全部样本后再执行梯度下降算法，可能下降过程在全局最

随机梯度下降和Mini-Batch梯度下降随机梯度下降在大数据背景下，普通梯度下降：由此可见，当数据比较庞大时，比如30亿数据。每次梯度下降时，都需要遍历所有的3亿样本点，再加上要达到全局最优点，需要执行迭代多次梯度下降算法，由此可见普通梯度下降对大数据不适用，需要改进。思想：因为数据比较大，我们直接每输入一个样本就执行一次梯度下降算法，而不是遍历全部样本后再执行梯度下降算法，可能下降过程在全局最

过度拟合与正则化过度拟合1.什么是过度拟合由图所示：第一张图，只用的一阶多项式，不能很好的拟合数据集，这种情况称为 欠拟合第二张图，用的二阶多项式，比较好的拟合了数据集。第三张图，比较极端，为了完全更好的拟合数据集，使用了四阶多项式。很明显它只对现有样本做了很好的拟合，而并不能很好地泛化，这样的问题，我们称之为过渡拟合。（泛化：指的是一个假设模型能够应用到新样本的能力）下图案例也是：第三张图的模型