4.1　从数据中学习神经网络的特征就是可以从数据中学习。所谓“从数据中学习”，是指可以由数据自动决定权重参数的值。感知机的例子中，我们对照着真值表，人工设定了参数的值，但是那时的参数只有 3 个。而在实际的神经网络中，参数的数量成千上万，在层数更深的深度学习中，参数的数量甚至可以上亿，想要人工决定这些参数的值是不可能的。4.1.1　数据驱动数据是机器学习的命根子。从数据中寻找答案、从数据中发现模式

使用labelimg进行目标检测数据集标注labelimg的安装如果你的电脑安装了python3，在cmd命令行里面执行以下命令即可：pip install labelimg就可以运行。使用labelImg进行图像标注利用Open Dir按钮可以打开需要被标注的图片的文件夹。利用Change Save Dir按钮可以打开标注文件存放的文件夹。利用w快捷键或者点击create\nRectBox可以开

4.1　从数据中学习神经网络的特征就是可以从数据中学习。所谓“从数据中学习”，是指可以由数据自动决定权重参数的值。感知机的例子中，我们对照着真值表，人工设定了参数的值，但是那时的参数只有 3 个。而在实际的神经网络中，参数的数量成千上万，在层数更深的深度学习中，参数的数量甚至可以上亿，想要人工决定这些参数的值是不可能的。4.1.1　数据驱动数据是机器学习的命根子。从数据中寻找答案、从数据中发现模式

梯度下降法不是一个机器学习算法是一种基于搜索的最优化算法作用：最小化一个损失函数这个二维平面与前面提到的所有二维平面不同。注意坐标系是什么。在直线方程中，导数代表斜率在曲线方程中，导数代表切线斜率在梯度下降法中，导数代表theta单位变化时，J相应的变化导数可以代表方向，对应J增大的方向在梯度下降法中，theta应该向导数的负方向移动在多维函数中，要对各个方向的分量分别求导，最终得到的方向就是梯度

多项式回归简介考虑下面的数据，虽然我们可以使用线性回归来拟合这些数据，但是这些数据更像是一条二次曲线,相应的方程是y=ax2+bx+c,这是式子虽然可以理解为二次方程，但是我们呢可以从另外一个角度来理解这个式子：如果将x2理解为一个特征，将x理解为另外一个特征,换句话说，本来我们的样本只有一个特征x，现在我们把他看成有两个特征的一个数据集。多了一个特征x2，那么从这个角度来看，这个式子依旧是一个线

SVM支持向量机（Support Vector Machine, SVM）图中是一个样本空间，里面有一些样本点，分成红色和蓝色两类。逻辑回归是要找到一根决策边界，由决策边界把数据分成两类。但可能存在这样一些数据（下图），可能存在多条决策边界。（不适定问题）逻辑回归定义了一个损失函数，通过最小化损失函数求出决策边界。假设逻辑回归算法最后求出的是这样一根直线（下图），它在前面的所给的样本空间中表现很好

XGBoostXGBoost（Extreme Gradient Boosting）全名叫极端梯度提升树，XGBoost是集成学习方法的王牌，在Kaggle数据挖掘比赛中，大部分获胜者用了XGBoost。XGBoost在绝大多数的回归和分类问题上表现的十分顶尖最优模型的构建方法我们在前面已经知道，构建最优模型的一般方法是最小化训练数据的损失函数。我们用字母 L表示损失，如下式其中，F是假设空间假设空

集成学习(Ensemble Learning)多种机器学习算法都能做同样的事情。让不同的算法针对同一个数据都跑一遍，最终使用投票的方法，少数服从多数，用多数投票的结果作为最终的结果。import numpy as npimport matplotlib.pyplot as pltfrom sklearn import datasetsX, y = datasets.make_moons(n_sam

我们介绍了神经网络的学习，并通过数值微分计算了神经网络的权重参数的梯度（严格来说，是损失函数关于权重参数的梯度）。数值微分虽然简单，也容易实现，但缺点是计算上比较费时间。我们将学习一个能够高效计算权重参数的梯度的方法——误差反向传播法。5.1　计算图计算图将计算过程用图形表示出来。这里说的图形是数据结构图，通过多个节点和边表示（连接节点的直线称为“边”）。为了让大家熟悉计算图，本节先用计算图解一些

聚类无监督学习 (unsupervised learning) 是找出输入数据的模式。比如，它可以根据电影的各种特征做聚类，用这种方法收集数据为电影推荐系统提供标签。此外无监督学习还可以降低数据的维度，它可以帮助我们更好的理解数据。聚类算法：一种典型的无监督学习算法，主要用于将相似的样本自动归到一个类别中。在聚类算法中根据样本之间的相似性，将样本划分到不同的类别中，对于不同的相似度计算方法，会得到