在之前的博客《深度学习—简单的卷积神经网络》，仅由卷积层构成网络的全部，这还不是标准的网络结构，本文将继续介绍标准的卷积神经网络结构有哪些？深度学习基础—简单的卷积神经网络假设需要进行手写数字识别，输入图片是32*32*3大小的RGB图片，下面我们来构建一个卷积神经网络实现这个功能：注：该网络和经典网络LeNet-5非常相似，灵感也来源于此。LeNet-5是多年前Yann LeCun创建的，但是我

第l层的输入是第l-1层的输出，nH[l-1]和nW[l-1]表示第l层输入的图片的高和宽（不一定是正方形图片），由于l-1层有几个过滤器，最后输出的图片就有几个通道，因此l层的输入图片的通道数等于l-1层的过滤器的数量。假设当前位于l层，则输入6*6*3的彩色图片，有两个3*3*3的过滤器，卷积操作后将输出2个4*4的图片。假设输入的彩色图片为x，大小是39*39*3，在第一层中，过滤器有10个

多任务之间通常具有一定程度的相似性，因此数据之间也可以提供一定的帮助，比如某个任务只有1000个样本，需要进行100个任务，但如果只专注于第100个任务的学习，那么网络只有1000个样本，利用上其余99个任务的数据，在多任务数据量接近的情况下，就多了99000个样本，对网络的性能就有大幅提升。假设需要进行无人驾驶汽车模型的训练，对于一个图片，需要同时识别出图片中的汽车、行人、告示牌、交通信号灯，如

这种神经元依赖上下文神经元的现象也被成为协同适应），在训练网络的过程中，由于去除了某些神经元，那么网络就失去了该神经元的部分表征，因此在训练后，网络能学习更加独立丰富的特征（这种效果类似L2范数正则项，每个神经元不会被赋予更大的权重，从而产生了收缩权重平方范数的效果），使模型更加鲁棒。2.网络中每层的keep_prob都可以不同，对于输入层通常不设置keep_prob，对于节点较多的层keep_p

实际上，如果输入向量的各维度范围相似，比如x(1)的范围在[-1,1]，x(2)的范围在[0,1]，这时候用不用归一化特征值效果都差不多。如果输入向量的各维度范围差别很大，比如x(1)的范围在[1,1000]，x(2)的范围在[0,1]，这时候使用归一化特征值就能对模型的训练效率改善很多。未使用归一化特征值时，数据的特征分布狭长（范围差别大），因此在梯度下降法时，选择较大的学习率就会走很多弯路，导

需要在QQ邮箱设置中开启SMTP服务，并且记得把配置文件中的spring.mail.username和password替换为自己的邮箱账号和授权码。Webhook是一种允许应用程序向外部系统实时推送事件或数据的机制，通常通过HTTP回调实现，从而实现跨系统自动化的信息传递。比如service_resp_time_rule规则，表示某个服务的响应时间在最近10分钟的3分钟内持续超过1000毫秒时触发

k和k’表示不同的通道，i和j表示某个通道下的激活值的坐标，a表示该下标下的激活值，即该公式将(i,j,k)和(i,j,k’)下标的激活值相乘，然后累加求和，得到矩阵G的(k,k’)下标的元素，从而得到nc*nc维度的矩阵G（因为有nc个通道，因此k和k’分别都可取nc个值，因此矩阵的维度是nc*nc）。将绘画的风格迁移到真实建筑图片中，得到具有绘画风格的建筑图片。第二层检测到更复杂的形状和模式，

即假设输入图片是n*n*nc的大小，过滤器是f*f*nc的大小，得到的卷积结果是(n-f+1)*(n-f+1)*nc，其中nc是通道数，这里默认步长为1，不进行padding操作。但是如果想检测不同的边缘特征，比如想同时检测6*6 RGB图像垂直边缘和水平边缘，就可以使用2个3维过滤器（3*3*3），得到两个4*4的输出，把这两个4*4的输出堆叠为4*4*2的输出，这个输出表示同时检查水平和垂直边

但是当销毁引用a和b后，两个Test对象引用计数都-1，此时没有引用变量再指向两个Test对象，但两个对象其中的成员属性都互相引用，造成循环引用，此时引用计数器无法变成0，也就无法被垃圾回收。最大的好处是可以让程序员自定义的类不会把Java标准库中的类给覆盖了，因为即使写了一个类名为String，根据双亲委派模型，该类被加载首先会在rt.jar中查找，就找到了由BootStrapClassLoad

decoder网络和编号4的语言模型几乎一模一样，机器翻译模型其实和语言模型非常相似，不同在于语言模型总是以零向量开始，而encoder网络会计算出一系列向量来表示输入的句子。假设输入猫咪图片，经过预训练的AlexNet网络（上图编号2）作为编码器，让其学习图片的编码，去掉最后的softmax单元（编号3），AlexNet网络会输出一个4096维的特征向量。接着把这个向量输入到RNN中（编号4），