SVG 是使用 XML 来描述二维图形和绘图程序的语言。在 2003 年一月，SVG 1.1 被确立为 W3C 标准。参与定义 SVG 的组织有：Sun公司（已被Oracle公司收购）、Adobe、苹果公司、IBM 以及柯达。与其他图像格式相比，使用 SVG 的优势在于：与 Flash 相比，SVG 最大的优势是与其他标准（比如 XSL 和 DOM）相兼容。而 Flash 则是未开源的私有技术。I

比如，同样的一只猫，可能因为背景的不同，网络就识别不好了，全连接网络不能较好地提取图像特征。这个特征域是可以根据你要求解的图像分类问题的特性任意设定的，比如你要求解的图像分类问题的图像中的特征位于图片的左上角和右上角，那接受域你也大可不用设置为正方形，可以设置成两个正方形分开的一种特殊接受域。如图所示，假设我们想知道图片的类别是鸟，作为人类，我们要想分辨图中有没有鸟，我们会着重分别图中有没有鸟的某

进入 dl_pytorch 虚拟环境，安装 ipykernel（注意：这里我是pip安装，网上大部分教程都是conda安装，但是我实际操作下来，每次conda安装完，再conda info、install等都会报错，试了七八次都是这样，所以最后尝试了pip，结果就成功了）选择完正确的torch版本后，会进入下面的界面，一共有4个不同的.whl文件，每一种选一个符合你的版本下载即可。下载好轮子之后，

相信大多数小伙伴应该和我一样，之前在学习强化学习的时候，一直用的是Python，但奈何只会用java写后端，对Python的一些后端框架还不太熟悉，（以后要集成到网站上就惨了），于是就想用Java实现一下强化学习中的Q-Learning算法，来搜索求解人工智能领域较热门的问题—迷宫寻路问题。（避免以后要用的时候来不及写）。下面仅对Q-Learning算法对简单介绍Q学习是一种异策略（off-pol

动作：往左转还是往右转，用力矩来衡量，即力乘以力臂。范围[-2,2]状态：cos(theta), sin(theta) , thetadot（角速度）奖励：总的来说，越直立拿到的奖励越高，越偏离，奖励越低。游戏结束：200步后游戏结束。所以要在200步内拿到的分越高越好。

Sarsa 是一种同策略（on-policy）算法，它优化的是它实际执行的策略，它直接用下一步会执行的动作去优化 Q 表格。同策略在学习的过程中，只存在一种策略，它用一种策略去做动作的选取，也用一种策略去做优化。所以 Sarsa 知道它下一步的动作有可能会跑到悬崖那边去，它就会在优化自己的策略的时候，尽可能离悬崖远一点。Q(S,A)←Q(S,A)+α(R+γQ(S′,A′)−Q(S,A))Q(S,

下面仅对Q-Learning算法对简单介绍Q学习是一种异策略（off-policy）算法。目标策略（target policy）和行为策略（behavior policy）。目标策略就是我们需要去学习的策略，相当于后方指挥的军师，它不需要直接与环境进行交互行为策略是探索环境的策略，负责与环境交互，然后将采集的轨迹数据送给目标策略进行学习，而且为送给目标策略的数据中不需要at+1a_{t+1}at+

Agent 必须在两个动作之间做出决定 - 向左或向右移动推车 - 以使连接到它的杆保持直立。如下式所示，假设我们有两个Q函数： QQQ 和 Q′Q^{\prime}Q′ ，如果 QQQ 高估了它选出来的动作 aaa ，只要 Q′Q^{\prime}Q′ 没有高估动作 aaa 的值，算出来的就还是正常的值。假设 Q′Q^{\prime}Q′ 高估了某一个动作的值，也 是没问题的，因为只要 QQQ

Agent 必须在两个动作之间做出决定 - 向左或向右移动推车 - 以使连接到它的杆保持直立。深度 Q\mathrm{Q}Q 网络算法是这样的，我们初始化两个网络 ：估计网络 QQQ 和 目标网络 Q^，Q^\hat{Q} ， \hat{Q}Q^​，Q^​ 就等于 QQQ ，一开始 目标网络 Q^\hat{Q}Q^​ 与原来的 QQQ 网络是一样的。在每一个回合中，我们用演员与环境交互，在每一次交

Agent 必须在两个动作之间做出决定 - 向左或向右移动推车 - 以使连接到它的杆保持直立。近端策略优化 ( proximal policy optimization, PPO):避免在使用重要性采样时由于在θ\thetaθ下的pθ(at∣st)pθ​(at​∣st​)与在θ′θ′下的pθ′(at∣st)pθ′​(at​∣st​)相差太多, 导致重要性采样结果偏差较大而采取的算法。