上一篇中

原文要点梳理：1、最近几年卷积神经网络中，激活函数往往不选择sigmoid或tanh函数，而是选择relu函数：f(x) = max(0, x)。选择relu的原因：1）速度快。计算代价小2）减轻梯度消失问题：sigmoid函数的导数最大值为0.25，累乘之后越来越小。relu导数始终为1。因此relu可以支持更深的网络。3）稀疏性：大脑在日常工作中只有大约5%激活。sigmoid激活函数激活率为

第五章：训练与普遍挑战：为成功而GANGAN在所有生成模式中的位置。上图中两个关键要点：（1）所有这些生成模型最终都源自最大似然（Maximum likelihood）（2）变分自编码器VAE位于显示部分。从图中可以看出，技术发展，正在从显示和易驾驭的方法转向隐式的方法。这样就会出现一个问题：如果没有显示的损失的函数，如何去评估GAN的效果？一、评估如何评估有一个生成方法是好是坏？如何量化生成的质

第四章深度卷积生成对抗网络（DCGAN）生成器和鉴别器都使用卷积神经网络，这种GAN架构称为深度卷积生成对抗网络（DCGAN）。DCGAN复杂架构在实践中变为可行的关键性突破之一：批归一化（BatchNormalization）。一、卷积神经网络1、卷积滤波器卷积是通过在输入层上滑动一个或多个滤波器（filter）来执行的。每个滤波器都有一个相对较小的感受野（宽乘高），但它贯穿输入图像的全部深度。

学习原文在此，但是讲解RNN入门最好的三篇文章在知乎：一、一文搞懂RNN（循环神经网络）基础篇；二、循环神经网络（RNN）为什么能够记忆历史信息；三、浅析循环神经网络RNN的两种应用。这篇也可以参考：如何深度理解RNN？——看图就好！全连接神经网络和卷积神经网络，他们都只能单独的取处理一个个的输入，前一个输入和后一个输入是完全没有关系的。但是，某些任务需要能够更好的处理序列的信息，即前面的输入和后

第五章 卷积神经网络几个具有代表性的深度卷积神经网络的设计思路：1、最早提出的AlexNet2、后来使用重复元素的网络VGG3、网络中的网络NiN4、含并行连结的网络GoogleNet5、残差网络ResNet6、稠密连接网络DenseNet本章中：批量归一化和残差网络为训练和设计深度模型提供了两类重要思路。一、二维卷积层1、二维互相关运算卷积层得名于卷积（convolution）运算，但是我们通常

先说一句对整本书的印象：作者尽全力试图把深度学习的复杂知识，用形象化形式表述清楚，非常适合新手入门学习阅读。第一章 神经网络的思想这一代的人工智能：数据为王。有什么样的数据，出什么样的模型。神经网络中比较重要的一点就是利用网络自学习算法来确定权重大小。有监督学习是指，为了确定神经网络的权重和偏置，事先给予数据，这些数据称为学习数据。根据给定的学习数据确定权重和偏置，称为学习。神经网络是怎样学习的呢

第五章 卷积神经网络几个具有代表性的深度卷积神经网络的设计思路：1、最早提出的AlexNet2、后来使用重复元素的网络VGG3、网络中的网络NiN4、含并行连结的网络GoogleNet5、残差网络ResNet6、稠密连接网络DenseNet本章中：批量归一化和残差网络为训练和设计深度模型提供了两类重要思路。一、二维卷积层1、二维互相关运算卷积层得名于卷积（convolution）运算，但是我们通常

原文要点梳理：1、最近几年卷积神经网络中，激活函数往往不选择sigmoid或tanh函数，而是选择relu函数：f(x) = max(0, x)。选择relu的原因：1）速度快。计算代价小2）减轻梯度消失问题：sigmoid函数的导数最大值为0.25，累乘之后越来越小。relu导数始终为1。因此relu可以支持更深的网络。3）稀疏性：大脑在日常工作中只有大约5%激活。sigmoid激活函数激活率为

第十章：自然语言处理因本人主要方向为计算机视觉，对于自然语言处理技术暂未过多涉及。为完结本书，仅仅将目录整理如下。1、词嵌入2、近似训练3、word2vec的实现4、子词陷入（fastText）5、全局向量的词嵌入（GloVe）6、求近义词和类比词7、文本情感分类：使用循环神经网络8、文本情感分类：使用卷积神经网络（textCNN）9、编码器-解码器（seq2seq）10、束搜索11、注意力机制1