在机器学习中，执行一个算法通常要经过遵循以下三个步骤：（1）定义一个函数集；（2）定义函数的好坏；（3）训练参数，得到不同的函数，并选择最好的函数DeepLearning同样遵循这三个步骤。具体来说，在第一步中，定义的函数集为一个神经网络（neuronnetwork） 。1.什么是神经网络如图所示展示了一个神经网络，它是由许多神经元（neuron）组成的一个系统。其中的每个神经元执行这样的操作：将

RNN处理的主要是具有顺序关系的序列。比如在一个订票系统中，需要从用户的一句话中提取出出发地，目的地和交通方式等信息，实现智能订票。在这种情况下，词语之间顺序的改变可能会带来不一样的结果。RNN可以实现通过前面的词语推断后面的词语属于何种信息。比如“到达”后面通常是目的地，“从”后面通常是出发地。1.RNN的基本架构RNN的基本思想就是在处理一个新的输入的同时，考虑之前结果的影响。如图是一个简单的

Backpropagation解决的是在神经网络中如何有效率的进行GradientDescent算法的问题。更具体地说，假设将LossFunction记为，其中为一个向量，表示所有的参数，那么的梯度表示为Backpropagation就是快速计算的一种方法。定义函数为第n个预测值与真实值之间的距离函数，则LossFunction可以表示为将中的某一个参数记为w，简记为C，下面开始展示的计算过程。如

在训练神经网络的时候，如果没有得到好的结果，我们就需要使用一些特殊的技巧。下面分别讨论在两种不同的情况下，调整模型的方法。1.训练集上得到的误差很大如果模型在训练集上得到的误差就已经很大，说明可能是你没有选择合适的函数集或者是漏掉了最优解，针对这两种情况，可以选择两种改进方法。（1）修改激活函数（activationfunction）在之前两篇文章中使用的激活函数是sigmoid函数，但是sigm

Backpropagation解决的是在神经网络中如何有效率的进行GradientDescent算法的问题。更具体地说，假设将LossFunction记为，其中为一个向量，表示所有的参数，那么的梯度表示为Backpropagation就是快速计算的一种方法。定义函数为第n个预测值与真实值之间的距离函数，则LossFunction可以表示为将中的某一个参数记为w，简记为C，下面开始展示的计算过程。如