Relu 及 leakyRelu是深度学习中常用的激活函数，看了几篇博客后，做一个小的总结。     1. Relu：            数学表达式：a = max(0, z)            函数图像为：                             优点：由上图可以看出，Relu得到的SGD的收敛速度较快           缺点：训练的时候很容易‘die'了，对于小于0的