如果你必须对你的模型做出决定，例如拟合参数或选择模型架构，如神经网络架构或多项式度，如果你用线性回归来做所有这些决定，仅使用训练集和交叉验证集完全不看测试集，当你还在为你的学习算法做决定的时候，只有在你想出一个模型之后这是你的最终模型，然后在测试集上进行评估，因为还没有使用测试集做出任何决定，这可以确保你的测试集是一个公平的。这指的是不在训练集中的新例子的平均误差，在上篇文章中看到的是J测试，算法

将从一个例子开始，当你只有一个训练例子，如果你拟合一个二次模型，你可以很容易的知道直线或曲线，你的训练误差将为0，如果你有两个这样的训练例子，你可以再次拟合一条直线，实现零训练误差，事实上，如果你有三个训练例子，二次函数仍可以很好的拟合这一点，几乎没有训练错误，但是如果你的训练集再大一点，假设你有四个训练例子，然后要完美地适应所有四个例子就变得有点难了，你可能会得到一条曲线，看起来很适合它，所以当

也许你会学会忽略营销材料通过适当的设置参数来解决，只关注与负担能力最相关的功能子集，进一步简化该神经网络的符号和描述，我将把这四个输入特征写成变量，我们将把神经网络看作有四个特征，包含这个特征向量X，这个特征向量被馈送到中间的这一层，然后计算三个激活值，而这三个激活值又变成了另一个矢量，它被馈送到最后的输出层，最后输出这件T恤畅销的概率，这就是神经网络的全部，它有几层，其中每一层输入一个向量并输出

当y=0时，在这种情况下，这里的y=0，所以这一个结束了，第二项是对数项的1-0倍，损失变成-1*log1-f(x),这就等于这里的第二个项，所以在y=0的情况下，我们还得到上面定义的原始损失函数，所以你看到的无论y是0还是1，这里的这个表达式等价于上面更复杂的表达式，这就是为什么这给了我们这一个更简单的方法来写损失只需一个方程，如果不把两个情况分开，就像上面那样，使用这个简化的损失函数，让我们回

一个正确实现梯度下降的调试技巧，以足够小的学习速度，成本函数应该在每一次迭代中降低，所以如果梯度下降不起作用，那么就把alpha设为一个非常非常小的数，看看这是否会导致每次迭代的成本降低，如果将alpha设置为一个非常小的数字，J不会在每次迭代中减少，但有时反而会增加，那通常意味着有窃听器，在代码的某个地方注意，将alpha设置为非常非常小，这里是指调试步骤和一个非常非常小的alpha值，并不是训

将从一个例子开始，当你只有一个训练例子，如果你拟合一个二次模型，你可以很容易的知道直线或曲线，你的训练误差将为0，如果你有两个这样的训练例子，你可以再次拟合一条直线，实现零训练误差，事实上，如果你有三个训练例子，二次函数仍可以很好的拟合这一点，几乎没有训练错误，但是如果你的训练集再大一点，假设你有四个训练例子，然后要完美地适应所有四个例子就变得有点难了，你可能会得到一条曲线，看起来很适合它，所以当

有时我们会使用不同于Z状结肠激活函数的选择，最常用的激活函数是Z状结肠激活函数，激活功能还有一个功能，称为线性激活函数，也就是g(z)=z，有时如果你使用线性激活函数，人们会说我们没有使用任何激活功能，所以当你使用线性激活函数时，有人会说，我们没有使用任何激活函数，使用线性激活函数而不是没有激活函数，但如果听到别人用这个术语，只是指线性激活函数，这三个可能是迄今为止神经网络中最常用的激活函数。分别

对于SoftMax层或SoftMax激活函数，在一个方面不同，与我们目前看到的其他激活函数相比，像Z状结肠，Relu和线性，当我们观察Z状结肠或Relu或线性激活函数时，a1只是z1的函数，换句话说，获取激活值，我们可以应用激活函数，不管是Z状结肠还是其他什么，但是有了Softmax激活功能，注意。稀疏范畴指的是把y分类，它的值从1到10，稀疏指的是y只能取这十个值中的一个，所以每个图像要么是零，

因此第一次通过这个循环时，我们可能会像这样创建一个训练集，并像这样训练决策树，这里是我们要改变算法的地方，也就是每次通过这个循环，除了第一次，会有第二次、第三次，以此类推，在抽样时，不是以相同的概率选择每个训练样本，而是将以更高的概率选择那些在我们目前构建的树集合中。，注意是原始训练集，不是通过某种方式或替换生成的训练集，我们会查看所有的这10个例子，并查看这个学习的决策树对这10个例子的预测，所

如果你在这个数据集上训练一个小神经网络，可能如蓝色线所示，如果训练一个中等大小的神经网络，意思是一个有更多神经元的，可能如紫色线所示，如果你训练一个废除那个大的神经网络，意思是一个有很多人工神经元的人，然后对于一些应用程序，性能会继续上升，如绿色曲线所示，这意味着对于特定类型的应用程序，你确实有大量的数据，有时你会听到大数据这个词，如果你能训练一个非常大的神经网络，利用你拥有的大量数据，然后你可以