目前接触到的梯度下降是批量梯度下降，表示每次计算梯度，我们都会包括所有的训练样本。其它类型的梯度下降可能计算部分训练样本。我们需要设置迭代次数来进行梯度下降，先写好计算梯度也就是计算导数项的函数，然后循环迭代次数来不断计算梯度并更新梯度，同时也保存好每次更新的w，b。通过二维关系图和等高线图，我们看到梯度下降一开始可以大幅度降低成本函数，随着迭代次数提升，更新的幅度慢慢减少。而如果学习率设置过大，

什么是机器学习？机器学习在日常生活中的应用有哪些？机器学习如何应用于工业和企业？如何开始学习和实践机器学习？

多分类问题指的是在分类任务中，输出标签y不仅仅局限于两个类别，而是存在两个以上的可能类别。它是一种函数，可以理解成逻辑回归模型的扩展，用于预测多分类问题，类似于sigmoid预测二分类。每个样本可能有多个标签，每个标签表示不同的类别。例如自动驾驶系统中，针对前方的图片，可能要判断是否有车、是否有公交车、是否有行人等。这种情况下，每张图像可以同时属于多个标签，单一标签无法描述图像中所有的信息。本篇首

这些神经元之所以能根据样本筛选出样本不同的问题，并不是人为设计的功能，而是神经网络通过梯度下降自主学习得到的（也就是不同神经元获得了不同的w，b，这里是吴恩达直接给出了合适的W1,B1），这些学习到的功能与人类可能会选择用于做出相同决策的函数非常相似，表明神经网络能够模拟人类的决策过程。Unit 1：当输入样本中的持续时间较短时，这个单元的激活值会较大，颜色就会越深（阴影），此时的输入样本中的持续

梯度下降算法的作用是为了最小化函数。我们需要成本函数的最小值，借此得到最优的w，b，因此我们使用梯度下降算法去最小化成本函数。梯度下降在计算线性回归的成本函数时，不断更新w，b，尽量让成本函数最快达到最小值。线性回归的平方误差成本函数只有一个最小值，而在神经网络模型中使用的某些成本函数可能会在3d空间中呈现出多个局部最小值，这取决于成本函数的具体形状。

1.实验目的是什么？2.一元线性回归的一元是什么意思？3.如何实现一元线性回归的成本函数？4.b确定，w和成本函数走势的关系是？5.w，b和等高线图的关系是？6.什么情况下，可以让成本函数的走势呈倒扣碗状？7.是否需要关系绘图的底层代码？

当我们发现数据的走势为非线性，选择线性回归函数已经无法拟合数据，所以我们采用多项式回归。但是我们不能随意的设计出新特征，结合实验例子，如果数据的关系是y=1+x²，f_wb=wx²+b函数可以很好的拟合数据，而f_wb=w0x+w1x²+w2x³+b函数则不会很好的拟合数据。而在多项式回归中，特征缩放是很重要的，因为多项式特征之间的差异是很大的。

房子面积越大，数据点的趋势整体上升，因此面积对价格的影响最大，卧室数量和楼层对价格的影响忽上忽下，房屋年龄对价格的影响是整体下降。回到开始，当学习率为9.9e-7，成本函数一直增加，没有达到最小值。可以自己编写打印结果，更直观的查看。由于设置的迭代次数为10，我们抽取某一次来看看格式。：对每行训练样本的误差求和即可。重启内核并运行全部。

方差偏差在第一位，误差分析在第二位。在选择如何改进学习算法性能时，偏差和方差是最重要的概念，而误差分析则是其次。具体来说，假设你有500个交叉验证样本，算法错误分类了其中的100个。误差分析指的是手动检查这100个错误样本，找出常见的错误类型。例如，如果许多错误样本是医药垃圾邮件，你可以统计这些类型的错误数量，并决定是否针对这些错误进行优化。通过误差分析，你可以发现某些类型的错误更普遍，从而决定优

神经网络会存在很多层，每一层也存在很多神经元。每一个神经元都可以作为一个逻辑回归模型，因此每个神经元都有自己的参数w，b。区别不同的神经元参数，每个参数的下标标记数字。为了区别不同的层，每个参数的上标标记数字。每一层的激活项都是下一个层的输入特征，因此每一层的输入，上标标记上一层的层数，同时每一层的激活项，上标标记本层的层数。