【神经网络与深度学习(吴恩达)】深层神经网络学习笔记
·
1. 深层神经网络
计算神经网络的层数时,我们不能把输入层数进去,只算上隐层的数量和输出层。


2. 深层网络的前向传播

3. 核对矩阵的维数


4. 为什么使用深层表示


5. 搭建深层神经网络模块

把输入特征a[0],放入第一层并计算第一层的激活函数(用a[1]来表示),你需要w[1]和b[1]来计算,之后也缓存z[1]值。之后到了第二层,需要用到w[2]和b[2],你会需要计算第二层的激活函数a[2] 。以此类推,直到最后一个,在这些过程里我们缓存了所有的z值,这就是正向传播的步骤。

对反向传播的步骤而言,我们需要算一系列的反向迭代,就是这样反向计算梯度。现在你就有所有的导数项了,w也会在每一层被更新为W减去学习率乘以dW,b也一样。
6. 前向和反向传播



7. 参数和超参数


我们知道模型里有参数W和b,但在学习算法中还有其他参数需要输入到学习算法中,比如学习率α、或者还有梯度下降法循环的数量。在你的算法中也许也有其他你想要设置的数字比如隐层数L,你还可以选择激活函数、用修正线性单元 还是tanh。那么算法中的这些数字都需要你来设置,这些数字实际上控制了最后参数W和b的值,所以它们被称作超参数。
因为这些超参数比如α即是学习率、循环的数量、隐层的数量等等都是能够控制W和b的所以这些东西称为超参数。因为这些超参数某种程度上,决定了最终得到的W和b。实际上深度学习有很多不同的超参数。
8. 这和大脑有什么关系?
神经网络是给定一些训练数据然后进行一系列的运算再传导给后面的结点继续进行运算,而人的大脑中的神经元的树突也会接收一系列信号,然后当信号到达一定的阈值的时候会传导信号给后面的神经末梢,这只是一个简单的说明,实际上人类大脑中的神经元远比这个复杂的多,但是不得不说,人类在研究神经网络和深度学习以及各种应用比如计算机视觉、自然语言处理的过程中一定程度上受到了人脑和生物神经元的启发。

更多推荐
所有评论(0)