
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
深度学习-梯度下降优化方法Momentum公式问题与解决
Momentum 把历史梯度叠加,相当于积累 “惯性”,下坡的时候加速。如果按照这个公式推演,会发现结果和上述代码中两次梯度优化结果不一致。这里再次注意:PyTorch 的 SGD momentum,对比 Momentum 结果 0.9711,下降更快。两个版本只是系数习惯,思想都是对历史梯度做平滑。,不是指数加权平均原版形式。

深度学习之ANN神经网络结构梳理
本文从 代码搭建、网络结构演示 两个方面展示ANN神经网络重点看 网络结构演示,这部分通过一个实实在在的数据打通了隐藏层到输出层的整个计算过程

理解python进程
操作系统资源分配的基本单位(注意这里的 资源分配 只是分配资源)硬件多核前提下,Python multiprocessing 多进程可以实现真正并行;单进程只能并发,无法并行python的多进程会真正启动底层的多个系统进程,每个进程拥有独立的内存空间和完整的python解释器状态这完美规避了全局解释器锁(GIL)的限制,能够真正利用多核CPU。

到底了







