主要来说说看 sigmoid 函数，sigmoid函数是机器学习中的一个比较常用的函数，与之类似的还有softplus和softmax等函数，这里也就不说，先来看看sigmoid函数的表达式的和图像， sigmoid函数表达式如下这就是sigmoid函数的表达式，这个函数在伯努利分布上非常好用，现在看看他的图像就清楚可以看到在趋于正无穷或负无穷时，函数趋近平滑状态，sigmoid函数因为输出范围（

梯度下降法简单来说就是一种寻找目标函数最小化的方法。梯度下降法是一个最优化算法，常用于机器学习和人工智能当中用来递归性地逼近最小偏差模型。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法。缺点靠近极小值时收敛速度减慢。直线搜索时可能

这一系列的文章回顾了1998年开始，近19年来卷积神经网络的发展概况。这篇文章介绍的网络有Inception V1、Inception V2、Inception V3、Inception V4与Inception-ResNet-V2。从2014年开始，深度学习模型在图像内容分类和视频分类方面有了极大的应用，仅仅2014这一年就出现了对后来影响巨大的VGG和GooLeNet。Inception V1

np.liealg.norm函数用来计算所谓的范数，可以输入一个vector，也可以输入一个matrix。L2范数是最常见的范数，恐怕就是一个vector的长度，这属于2阶范数，对vector中的每个component平方，求和，再开根号。这也被称为欧几里得范数（Euclidean norm）。在没有别的参数的情况下，np.linalg.norm输入一个vector，就是计算vector的长度：v

给定误差函数，学习率，甚至目标变量的大小，训练神经网络可能变得不稳定。训练期间权重的较大更新会导致数值上溢或下溢，通常称为梯度爆炸（gradients exploding）。梯度爆炸在递归神经网络中更为常见，例如LSTM，因为梯度的累积在数百个输入时间步长上展开。梯度爆炸的一种常见且相对容易的解决方案是：在通过网络向后传播误差并使用其更新权重之前，更改误差的导数。两种方法包括：给定选定的向量范数（

5py是对*.hdf5文件格式进行读写的python包一个HDF5文件就是一个由两种基本数据对象（groups and datasets）存放多种科学数据的容器：HDF5 dataset: 数据元素的一个多维数组以及支持元数据（metadata）；HDF5 group: 包含0个或多个HDF5对象以及支持元数据（metadata）的一个群组结构；总之，dataset是类似于数组的数据集，和nump

注：这一步使用如下命令：pip3 install --user --upgrade tensorflow==1.15tensorflow1.15版本以前区分CPU和GPU ，1.15版本以后不再区分了。

代码示例：# pad()函数使用示例def testPad():"""np.pad()用来在numpy数组的边缘进行数值填充，例如CNN网络常用的padding操作np.pad(array，pad_width，mode，**kwargs)　　# 返回填充后的numpy数组参数：array：要填充的numpy数组【要对谁进行填充】pad_width：每个轴要填充的数据的数目【每个维度前、后各要填充多