在 ReLU 函数被广泛应用之前，神经网络中激活函数采用 Sigmoid 居多，但是 Sigmoid 函数容易出现梯度弥散现象，当网络的层数增加后，较前层的参数由于梯度值非常微小， 参数长时间得不到有效更新，无法训练较深层的神经网络，导致神经网络的研究一直停留 在浅层。随着 ReLU 函数的提出，很好地缓解了梯度弥散的现象，神经网络的层数能够地 达到较深层数，如 AlexNet 中采用了 ReLU

【代码】神经网络常见激活函数 2-tanh函数(双曲正切)

在风控中，一套模型上线后往往需要很久（通常一年以上），如果模型不稳定会直接影响决策的合理性，所以稳定性压倒一切,反应了验证样本在各个分布与建模样本分布的稳定性，常用来筛选特征变量，评估模型稳定性。),而机器学习中基数长选择为自然常数e，因此单位常被称为。\ln(\frac{实际占比}{预期占比})} \。PSI &= sum{(实际占比-预期占比)表示实际数据当前分箱样本数占比、入模变量保证稳定性

它可以用于将预测概率作为输出的模型（如风控中的评分卡、逻辑回归等），例如表示二分类的类别概率或置信度。函数是连续可导的（即可微），能够提供非常平滑的梯度值，防止模型训练过程中出现突变的梯度（即避免“跳跃”的输出值）。在神经网络的梯度计算中，通过缓存每层的 Sigmoid 函数输出值，即可在需 要的时候计算出其导数.（这里注意sigmoid和softmax的区别，经过sigmoid的所有输出加起来不

它和 ReLU 函数的不同之处在于，当 x 小于零时，LeakyReLU 函数的导数值并不为 0，而 是常数𝑝，p 一般设置为某较小的数值，如 0.01 或 0.02。,我们可以看到输出，当x小于0 的时候，leakyRelu_x的结果被乘以0.1。,我们可以看到输出，当x小于0 的时候，leakyRelu_x的结果被乘以0.1。LeakyReLU 函数有效的克服了 ReLU 函数的缺陷，使用也

统计学习方法第四章 朴素贝叶斯法公式推导最大后验估计 贝叶斯估计

泛化误差上界 极大似然估计贝叶斯估计推导正太分布均值的极大似然估计和贝叶斯估计

字典 a 可以随时修改变量，比如把name改成'Bill'，但是一旦程序结束，变量所占用的内存就被操作系统全部回收。如果没有把修改后的'Bill'存储到磁盘上，下次重新运行程序，变量又被初始化为'Bob'。==我们把变量从内存中变成可存储或传输的过程称之为序列化，==在Python中叫pickling。序列化之后，就可以把序列化后的内容写入磁盘，或者通过网络传输到别的机器上。反过来，把变量内容从序

它和 ReLU 函数的不同之处在于，当 x 小于零时，LeakyReLU 函数的导数值并不为 0，而 是常数𝑝，p 一般设置为某较小的数值，如 0.01 或 0.02。,我们可以看到输出，当x小于0 的时候，leakyRelu_x的结果被乘以0.1。,我们可以看到输出，当x小于0 的时候，leakyRelu_x的结果被乘以0.1。LeakyReLU 函数有效的克服了 ReLU 函数的缺陷，使用也

它可以用于将预测概率作为输出的模型（如风控中的评分卡、逻辑回归等），例如表示二分类的类别概率或置信度。函数是连续可导的（即可微），能够提供非常平滑的梯度值，防止模型训练过程中出现突变的梯度（即避免“跳跃”的输出值）。在神经网络的梯度计算中，通过缓存每层的 Sigmoid 函数输出值，即可在需 要的时候计算出其导数.（这里注意sigmoid和softmax的区别，经过sigmoid的所有输出加起来不