1. 求特征图大小及感受野参考博客：关于感受野的理解与计算感受野计算总结某一个网络有三个操作，输入大小为200×200，第一层为卷积层，卷积核的大小为5×5，stride为2，padding为1；第二层为池化层，池化大小为3×3，stride为1；第三层为卷积层，卷积核大小为3×3，padding为1，stride为1.求每一层特征图的大小及感受...

参考：深度学习归一化BN是由Google于2015年提出，这是一个深度神经网络训练的技巧，它不仅可以加快了模型的收敛速度，而且更重要的是在一定程度缓解了深层网络中“梯度弥散”的问题，从而使得训练深层网络模型更加容易和稳定。所以目前BN已经成为几乎所有卷积神经网络的标配技巧了。我们为什么需要BN？神经网络学习过程本质就是为了学习数据分布，一旦训练数据与测试数据的分布不同，那么网络的泛化能...

神经元模型在生物神经网络中，每个神经元与其他神经元相连，当它“兴奋”时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位。如果某神经元的电位超过了一个“阈值”，那么它就会被激活，即“兴奋”起来。1943年，心理学家McCulloch和数学家Pitts提出了第一个抽象的神经元模型，称为MP模型。MP模型是人工神经网络的基本单元，如下图所示：其中，向量是神经元模型的输入，为第i个神经元到第n

贝叶斯分类器在介绍贝叶斯分类器之前，首先需要知道先验概率、后验概率以及全概率的相关概念及计算公式，这里不再赘述。（1）贝叶斯公式的一般形式这个公式用于计算A发生情况下，B发生的概率，往往A是结果，B是可能导致这一结果的某一因素。（2）对于分类问题的贝叶斯公式我们可以将上述一般形式下的贝叶斯公式看成如下：...

深度学习中的随机种子

参考：欠拟合和过拟合的一般解决方法偏差与方差，欠拟合与过拟合过拟合指的是模型在训练数据中表现得过于优越，而在测试集中表现不佳的现象。也就是说模型学习到了很多不必要的特征（比如噪声），泛化能力差。产生过拟合的原因：模型复杂训练数据少输入过多的变量（特征）数据噪声大（使得模型学习到噪声特征）解决过拟合的方法：数据扩增交叉验证增加正则化...

参考：海森矩阵和牛顿法人工智能-损失函数-优化算法：牛顿法的背后原理【二阶泰勒展开】牛顿法与Hessian矩阵给出一个总结：牛顿法法主要是为了解决非线性优化问题，其收敛速度比梯度下降速度更快。其需要解决的问题可以描述为：对于目标函数f(x)，在无约束条件的情况下求它的最小值。牛顿法的主要思想是：在现有的极小值估计值的附近对做二阶泰勒展开，进而找到极小点的下一个估计值，反复迭代直到函数的一阶导数小于

参考AdaBoost原理详解Adaboost 算法介绍（针对算法面试）手把手教你实现一个 AdaBoost机器学习笔记：AdaBoost 公式推导目录1.AdaBoost原理1.1训练当前迭代最优弱分类器1.2计算最优弱分类器的权重1.3根据错误率更新样本权重2.公式推导2.1 α和的推导2.2 权重更新公式相关面试题1.AdaBoost原理...

机器学习中，绕不开的一个概念就是熵 (Entropy)，信息熵。信息熵常被用来作为一个系统的信息含量的量化指标，从而可以进一步用来作为系统方程优化的目标或者参数选择的判据。在决策树的生成过程中，就使用了熵来作为样本最优属性划分的判据。下面按照本人的理解来系统梳理一下有关熵的概念。1 信息量信息量即信息多少的度量。公式表达如下：即如果事件概率越大，该携带的信息量越小；事件概率越小，该...

模型的推理速度