k和k’表示不同的通道，i和j表示某个通道下的激活值的坐标，a表示该下标下的激活值，即该公式将(i,j,k)和(i,j,k’)下标的激活值相乘，然后累加求和，得到矩阵G的(k,k’)下标的元素，从而得到nc*nc维度的矩阵G（因为有nc个通道，因此k和k’分别都可取nc个值，因此矩阵的维度是nc*nc）。将绘画的风格迁移到真实建筑图片中，得到具有绘画风格的建筑图片。第二层检测到更复杂的形状和模式，

上图所示，现在处理绿色边框的格子外，其他边框的标签都是中间那个向量，而绿色边框的格子有汽车，假设这个汽车与anchor box 2的交并比最大（编号5，紫色长方形框），因此绿色边框的格子的标签是最右边的向量（anchor box 1对应的分量的pc=0），然后根据红色边框（编号3来编码真实边框的参数，也就是右边向量的红色部分）。假设输入的图片是100*100*3，那么经过卷积网络的训练后，得到的输

如上图，损失函数的最小值是红点，椭圆是损失函数的图像，梯度下降法就像蓝线和紫线（学习率高，因此计算容易超出范围）一样，摆动着朝最小值移动。结合开始的图可以发现，对于y轴方向，正负值抵消，梯度的估计值接近0，因此减小了摆动，而x轴方向微分始终朝向最小值方向，因此优化更加平缓的向最小值方向移动，因此减少了计算，加快了收敛速度。不加偏差修正的原因是b=0.9表示平均了10次的梯度，我们不需要准确估计网络

在第1个时间步，输入a0=0和x1=0，则第1个时间步可能会输出一个经过softmax层的概率向量，向量的每个元素表示是词典中某个词的概率，我们可以对概率向量随机采样，比如使用Python中numpy库的np.random.choice语句，获得一个词，这个词就是采样的第一个词。如果对这样的RNN进行序列采样，那么我们每一个时间步的输入不再是词，而是字符。当训练了一个序列模型后，如果我想要了解模型

即假设输入图片是n*n*nc的大小，过滤器是f*f*nc的大小，得到的卷积结果是(n-f+1)*(n-f+1)*nc，其中nc是通道数，这里默认步长为1，不进行padding操作。但是如果想检测不同的边缘特征，比如想同时检测6*6 RGB图像垂直边缘和水平边缘，就可以使用2个3维过滤器（3*3*3），得到两个4*4的输出，把这两个4*4的输出堆叠为4*4*2的输出，这个输出表示同时检查水平和垂直边

对于一个神经网络我们知道，归一化输入特征是加速网络训练的技巧之一，因为归一化后，损失函数的图像就会由狭长变得更圆，那么这是否启发我们，在深度更深模型中，对各层的输出进行归一化，有益于下一层的学习？毕竟上一层的输出是下一层的输入。这就是由于每一层的参数更新后，对于同一输入，输出的分布就会发生改变（这称之为），这带来的影响是下一层需要不断适应上一层输出的分布，从而导致下一层与上一层之间的联系紧密（有点

在训练深度网络最难的事情之一是超参数的选择，如何选择合适的超参数取值？下面我将谈谈，如下是我所理解的超参数调试顺序：重要性排序超参数Top1梯队学习率aTop2梯队min-batch大小，隐层神经元个数，动量梯度下降法参数bTop3梯队隐层层数，学习衰减率，Adam优化的参数b1、b2ℇ实际上，Adam优化的参数b1、b2、ℇ通常不进行调试，选择默认值就能有很好的效果，即b1=0.9、b22.核心

这种神经元依赖上下文神经元的现象也被成为协同适应），在训练网络的过程中，由于去除了某些神经元，那么网络就失去了该神经元的部分表征，因此在训练后，网络能学习更加独立丰富的特征（这种效果类似L2范数正则项，每个神经元不会被赋予更大的权重，从而产生了收缩权重平方范数的效果），使模型更加鲁棒。2.网络中每层的keep_prob都可以不同，对于输入层通常不设置keep_prob，对于节点较多的层keep_p

decoder网络和编号4的语言模型几乎一模一样，机器翻译模型其实和语言模型非常相似，不同在于语言模型总是以零向量开始，而encoder网络会计算出一系列向量来表示输入的句子。假设输入猫咪图片，经过预训练的AlexNet网络（上图编号2）作为编码器，让其学习图片的编码，去掉最后的softmax单元（编号3），AlexNet网络会输出一个4096维的特征向量。接着把这个向量输入到RNN中（编号4），

最大池化的直观理解就是区域内最大值可能就是我们想要提取的重要特征，比如边缘检测，通常边缘附近是数值变化较大的地方，比如由亮变暗，像素值由大变小，如果过滤器覆盖了边缘，就会找到像素值大的特征值提取出来，从而保留重要的边缘信息，减少不是边缘的冗余信息。假设输入的图片是4*4的灰度图片（二维，只有一个通道），过滤器选择2*2，步长选择2，这样的效果就是将4*4的图片分为4块，因此结果是2*2的图像。由于