前言由于本人在进行深度学习的初期，因为对迭代方式的不理解，造成了极大的停滞期。在使用网络的过程中，因为只懂如果应用，不懂如何改进细节或不懂在优化算法中出现不合适后如何选择新的优化算法，所以着重学习了优化算法的数学原理。本文会讲解梯度下降、随机梯度下降、小批量随机梯度下降、动量法梯度下降。其他的优化算法比如AdaGrad、RMSProp、AdaDelta、Adam优化算法首先了解下优化算法在深度学习

在使用虚拟环境的过程中，因为python版本的问题产生了很多不兼容的问题，那么到底如何解决？1.在没有定义python环境时，创建的虚拟环境的python版本是miniconda默认的。- 那么如何区分本机的python版本与虚拟环境自带的版本呢？# 查证本机的python版本方法# 打开cmd>>>python# 另外，可以调用sys来查看python的安装路径>>