2NN反向传播 与 随机初始化W，b (笔记) (吴恩达深度学习)
·
目录
1.2NN反向传播
-
隐藏层不知道激活函数，输出层为sigmoid函数 为例
-
方程
2.随机初始化参数W，b
（1）含多个激活函数的隐藏层W不能初始化为0的原因：
- 这样每次迭代算出的dw[1]1，dw[1]2……都一样，w[1]1，w[1]2……更新后也一样。但是这些隐藏单元应该是不一样的，所以没有意义了。
（2）初始化
W1 = np.random.randn((2, 2))*0.01
b1 = np.zeros((2, 1))
- *0.01是因为选tanh或sigmoid作激活函数时，要让z小一点，不然会导致斜率很小，梯度下降效率低（也可以选别的数）
更多推荐
3
0- 0
已为社区贡献43条内容
所有评论(0)