非监督学习给的输入，不会包括其对应的标签。比如，给出每个肿瘤的大小、患者的年龄等等数据，但并不直接要求需要得到每组数据的肿瘤是良性还是恶性，而是让算法自己寻找这些数据中有着什么样的模型或者结构（就是自己找规律）比如给一堆的（x，y），通过建立相关的线性或非线性回归模型，最后能够通过给的输入x来预测对应的y是什么。相比于回归问题需要从无限种可能的结果中得出一个答案，分类问题只需要从有限的几种类别中判

梯度下降的方式适用于所有函数最小化的问题，但是找到的是局部最小值每一次都找下降J最快的方向走，但是实际情况中，可能会有很多极小值每一步都同时更新W和b，计算公式如下：这里有个细节，注意：由于计算偏导的时候会用到旧的w和b，因此必须计算完tmp_w和tmp_b之后，再进行更新参数：w=tmp_w，b=tmp_b。

还记得本来那个预测房价的例子吗？之前是只用房子的面积来预测房价，但是现实中肯定还有很多影响因素，会有更多的特征，x就不止一个了。

我们通过什么判断损失J收敛了，梯度下降完成了呢？这里有一个学习曲线，也就是损失 J关于迭代次数的曲线：当损失不再下降的时候，就说明不需要再迭代了，损失已经收敛了。因此，当我们想知道训练应该选择多大的学习率，可以先做一个测试：众所周知：当学习率过小，梯度下降的速度会很缓慢，曲线会非常平缓地下降当学习率过大，梯度下降会在一开始非常快，后面就会反复增大和减小我们在测试的时候可以先从很小的学习率开始，比如

线性回归很适用于解决预测数字类的，也就是y的值可能有无穷多种，但是对于分类问题，也就是y的值只有有限个可能的时候，线性回归往往效果不好。线性回归做的是尽可能找出一条线能够接近所有的数据，但是分类问题只要最终的分类结果。假设一个二元分类问题，肿瘤大小：大于10就是恶性，小于10就是良性，回归线在10这时候多了一个案例，肿瘤大小为100的恶性案例，为了接近这个数据，回归线就会往右移，有可能导致一些刚大

看这个图，从左到右分别是欠拟合（高偏差）、恰到好处、过拟合（高方差），模型越来越拟合数据集的曲线，最终能够使得训练数据集上的损失为0。然而，这样的模型对于新的数据的预测能力很差，泛化能力差。如果设置的过大，那每个wj都会几乎为0，可能导致模型完全由b决定，成为一个直线，出现欠拟合的现象。要注意一个点是，我们不对b进行正则化，因为b的正则化没什么影响，只对权重正则化就好，因此，在更新wj和b的时候，

今天的内容很少。

从今天开始，由原来的基础机器学习阶段，进入到深度学习阶段。神经网络最早的动机是用来模仿人的大脑，起源于生物学的动机。但是随着技术和社会的发展，神经网络用于各类工具，比如语音识别、计算机视觉、NLP，研究神经网络的人们已经不再探究模仿生物学动机了，而是使用工程原则去构建更有效的算法。那为什么深度学习近几年才突然发展起来呢？这是因为随着我们的数据量越来越多，传统的机器学习比如线性回归已经无法很好地利用

有一个很有意思的发现，大脑中的处理器官，它们是负责看的、听的或者是触觉的，取决于它收到什么样的数据，比如现在把视觉中的图像数据给你处理触觉部分的躯干，那这个躯干就会学着处理视觉，逐渐变成处理视觉的部分。（算法要解决的问题取决于它收到的数据）以numpy和tensorflow为例子（它两的数据表示有点不一样）我理解的是，ANI相当于在深究某一个领域的，AGI是一个综合的智能体。将数据表示为矩阵，能够

本文系统介绍了神经网络的基本原理与训练过程。主要内容包括：神经网络通过调整权重和偏置参数来拟合输入输出映射关系；激活函数引入非线性使模型能学习复杂规律；完整训练过程包括前向传播、反向传播和参数更新；梯度下降和优化器的作用；局部极小值与全局最小值的区别；过拟合的成因及防止方法，如数据增强、正则化和Dropout；L1/L2正则化的数学原理与效果差异。文章从理论和实践角度全面解析了神经网络训练的关键概