神经网络中，除了权重和偏置等参数，超参数（hyper-parameter）也经常出现。这里所说的超参数是指，比如各层的神经元数量、batch大小、参数更新时的学习率或权值衰减等。如果这些超参数没有设置合适的值，模型的性能就会很差。虽然超参数的取值非常重要，但是在决定超参数的过程中一般会伴随很多的试错。

过拟合指的是只能拟合训练数据，但不能很好地拟合不包含在训练数据中的其他数据的状态。在机器学习的问题中，过拟合是很常见的问题。而机器学习的目标是提高泛化能力，即便是没有包含在训练数据里的未观测数据，也希望模型可以进行正确的识别。主动制造过拟合：从MNIST数据集原本的60000个训练数据中只选定300个，并且，为了增加网络的复杂度，使用7层网络（每层有100个神经元，激活函数为ReLU）。过了 10

神经网络以某个指标为线索寻找最优权重参数。神经网络的学习中所用的指标称为损失函数（loss function）这个损失函数可以使用任意函数，但一般用均方误差和交叉熵误差等。损失函数是表示神经网络性能的“恶劣程度”的指标，即当前的神经网络对监督数据在多大程度上不拟合，在多大程度上不一致。之所以不能用识别精度作为指标，是因为这样一来绝大多数地方的导数都会变为0，导致参数无法更新。

如果某个函数由复合函数表示，则该复合函数的导数可以用构成复合函数的各个函数的导数的乘积表示。

当我们写完代码后，我们一般都是git add . // 添加所有文件git commit - m “xxxxxx”当我们git commit完之后，还没有执行git push，想修改/撤销这个commit，怎么办？1、如果只是想修改注释，可以这样操作git commit --amend这个时候进入vim编辑，直接修改即可，修改完注释，退出vim编辑:wq保存已编辑的注释，重新git push即可2

对于feign 的单元测试 主要引入RibbonAutoConfiguration.classFeignRibbonClientAutoConfiguration.class,FeignAutoConfiguration.class

有什么优点呢？可以使学习快速进行（可以增大学习率）。不那么依赖初始值（对于初始值不用那么神经质）。抑制过拟合（降低Dropout等的必要性）向神经网络中插入对数据分布进行正规化的层，即Batch Normalization层。式（6.7），μB←1m∑i1mxiσB2←1m∑i1mxi−μB2xi←xi−μBσB2ϵμB​σB2​xi​​←m1​i1∑m​xi​←m1。

这个主题分类问题与前面的影评分类问题类似，二者都是对简短的文本片段进行分类。但这个问题有一个新的限制条件：输出类别从 2 个变成 46 个。输出空间的维度要大得多。])

数据集被分为 25 000 条用于训练的评论与 25 000 条用于测试的评论，训练集和测试集都包含 50% 的正面评论与 50% 的负面评论。如果面对的是一个二分类问题，模型输出是一个概率值（模型最后一层只有一个单元并使用 sigmoid 激活函数），所以最好使用 binary_crossentropy（二元交叉熵）损失函数。查看结果，可以发现 训练损失每轮都在减小，训练精度每轮都在提高。但随后

Numpy 数组和 Tensorflow 张量的不同：NumPy 数组是可赋值的， TensorFlow 张量是不可赋值的。