在markdown环境下插入流程图、时序图、甘特图

常用查找算法整理

排序算法整理

OpenAI Gym 提供了一系列强化学习环境库，分为核心库和扩展库。1. 核心库（必备）库名作用安装命令常用环境示例gym基础环境（经典控制、简单算法）版本更新通知自动随gym安装2. 常用扩展库（按领域分类）（1）经典控制 & 物理仿真库名环境类型安装命令示例环境经典控制问题Acrobot-v1gym[box2d]2D 物理引擎（如车辆、机器人）（2）Atari 游戏库名说明安装命令示例游戏g

选择超参数有两种基本方法：手动选择或自动选择。手动超参数选择需要使用者对模型或深度学习有更多的了解。自动超参数选择通常需要更多的计算时间。调整模型的有效容量，使其与任务的复杂程度相匹配；在一定的运行时间和内存限制（模型复杂度）条件下，通过找到最低的泛化误差来评判模型性能。

在人工智能技术爆发的今天，PyTorch 凭借其动态计算图的灵活性和高效的 GPU 加速能力，已成为深度学习领域最受欢迎的框架之一。好吧，其实我写这个的原因是：很多有关人工智能的工作岗位都需要应聘者熟悉Tensorflow/scikit-learn/xgboost/Caffe/MindSpore/pytorch等主流深度学习框架，或者至少其中之一。那么torch自然就是一个很好的选择。

简单循环神经网络容易出现梯度消失和梯度爆炸问题。基于长短期记忆网络（LSTM）和门控循环单元（GRU）的门控循环网络能够缓解梯度消失/爆炸问题。门控循环单元（GRU）和长短期记忆网络（LSTM）被广泛应用，而简单循环神经网络（RNN）由于梯度消失/爆炸问题，使用频率较低。

上一节的深度Q学习，解决了连续状态空间，离散动作空间的问题。现在我们希望能够解决具有连续动作空间的强化学习问题，这时我们通常会使用策略梯度方法。回顾为例方便回顾，这里再贴一下强化学习的基本框架，智能体（Agent）根据当前状态StS_tSt​，依据策略π\piπ采取动作AtA_tAt​，环境（Environment）根据智能体的动作给出下一个状态St+1S_{t+1}St+1​和奖励Rt+1R_{

生成对抗网络（GANs）通过两个网络（一个判别器和一个生成器）之间的竞争过程来学习函数。生成器学习在目标领域中生成合成数据示例：2014 - 2017年用于生成逼真人脸的生成对抗网络的发展历程生成对抗网络（GANs）的众多应用生成对抗网络已得到广泛应用，尤其在图像编辑处理方面表现突出。左上：朱俊彦（Zhu, J. Y.）、朴泰升（Park, T.）、菲利普·伊索拉（Isola, P.）和亚历山大·

循环网络可以对处理序列数据的系统进行建模，并且具有随时间变化的内部状态和记忆能力。循环网络在捕捉序列数据中不同时间步之间的关系时，计算效率较高。存在多种序列数据问题：多对多I型（一一对应）；多对多II型；多对一；一对多。循环网络通常使用时间反向传播算法（BPTT）进行训练。