概述在读计算机视觉的相关论文时，经常会看到平移不变性这个词，本文将介绍卷积神经网络中的平移不变性是什么，以及为什么具有平移不变性。什么是平移不变性？不变性不变性意味着即使目标的外观发生了某种变化，但是你依然可以把它识别出来。这对图像分类来说是一种很好的特性，因为我们希望图像中目标无论是被平移，被旋转，还是被缩放，甚至是不同的光照条件、视角，都可以被成功地识别出来。所以上面的描述就对应着各种不变性：

主要来说说看 sigmoid 函数，sigmoid函数是机器学习中的一个比较常用的函数，与之类似的还有softplus和softmax等函数，这里也就不说，先来看看sigmoid函数的表达式的和图像， sigmoid函数表达式如下这就是sigmoid函数的表达式，这个函数在伯努利分布上非常好用，现在看看他的图像就清楚可以看到在趋于正无穷或负无穷时，函数趋近平滑状态，sigmoid函数因为输出范围（

np.liealg.norm函数用来计算所谓的范数，可以输入一个vector，也可以输入一个matrix。L2范数是最常见的范数，恐怕就是一个vector的长度，这属于2阶范数，对vector中的每个component平方，求和，再开根号。这也被称为欧几里得范数（Euclidean norm）。在没有别的参数的情况下，np.linalg.norm输入一个vector，就是计算vector的长度：v

给定误差函数，学习率，甚至目标变量的大小，训练神经网络可能变得不稳定。训练期间权重的较大更新会导致数值上溢或下溢，通常称为梯度爆炸（gradients exploding）。梯度爆炸在递归神经网络中更为常见，例如LSTM，因为梯度的累积在数百个输入时间步长上展开。梯度爆炸的一种常见且相对容易的解决方案是：在通过网络向后传播误差并使用其更新权重之前，更改误差的导数。两种方法包括：给定选定的向量范数（

代码示例：# pad()函数使用示例def testPad():"""np.pad()用来在numpy数组的边缘进行数值填充，例如CNN网络常用的padding操作np.pad(array，pad_width，mode，**kwargs)　　# 返回填充后的numpy数组参数：array：要填充的numpy数组【要对谁进行填充】pad_width：每个轴要填充的数据的数目【每个维度前、后各要填充多