在安装Pytorch时，若使用官网下载路径十分缓慢，一般情况下大家都会使用国内镜像进行下载。使用镜像源方式安装的人比较多，但是也存在安装不了的情况，比如镜像源中没有相关的安装包。为了加速，我在这里使用了下载工具IDM，全称是Internet Download Manager，是一种多线程下载工具，可以提升下载文件的速度。CPU版本在torch版本号的“+”后面显示“cpu”，若是GPU版本则在“+

本文主要介绍了Adagrad、RMSProp、AdaDelta、Adam四种经典的深度学习的优化算法。在以往文章中展示了深度学习的简单框架，在其基础上通过修改优化器便能得到不同优化方法的结果。下面将只展示修改的优化器部分。