目录前言前言深度学习是机器学习的一个分支，是一个机器学习问题，

目录小tips4.1 模型构造4.2 模型参数的访问 初始化和共享4.3 模型参数的延后初始化4.4 自定义层4.5 读取和存储4.6 GPU计算小tipsenumerate()函数，迭代器函数，生成由每个元素索引值和元素组成的元组。列表操作，append函数，在列表末尾添加新的对象，extend函数，用于在列表末尾一次性追加另一个序列中的多个值。列表索引[-1]明确比如一个列表或者字符串长度是5

目录7.1 优化与深度学习7.2 梯度下降和随机梯度下降7.3 小批量随机梯度下降7.4 动量法7.5 AdaGrad算法7.6 RMSProp算法7.7 AdaDelta算法7.8 Adam算法7.1 优化与深度学习优化算法的目标函数是基于训练集的的损失函数，也就是使得训练误差最小化的问题。通过多次迭代求数值解。深度学习最终迭代出来的数值解可能是局部最小化点而不是全局最小点。解有可能出现在鞍点附