强化学习算法可以分为三大类：（1）value based,（2） policy based 和 （3）actor critic。常见的是以DQN为代表的value based算法，这种算法中只有一个值函数网络，没有policy网络，以及以DDPG,TRPO为代表的actor-critic算法，这种算法中既有值函数网络，又有policy网络。说到DQN中有值函数网络，这里简单介绍一下强化学习中的一个

对于Model这个类，第一句：定义一个初始化函数，第二句：从父类nn.Module中继承了父类的初始化函数，第三和第四句都是自己写的。class Model(nn.Module):def __init__(self):super().__init__()self.conv1 = nn.Conv2d(1, 20, 5)self.conv2 = nn.Conv2d(20, 20, 5)def forw

1）Tag是Struct的一部分Tag用于标识结构体字段的额外属性，有点类似于注释。标准库reflect包中提供了操作Tag的方法，在介绍方法前，有必要先了解一下结构体的字段是如何表示的。在reflect包中，使用结构体structField表示结构体的一个字段:可以看出，Tag也是字段的一个组成部分。Tag 的类型为structTag，实际上它是一个string类型的别名type StructF

强化学习

对于导入的dataset可以用迅雷进行下载对于CIFAR10，进行ctrl点击鼠标左键进入，可以查看其url，将url进行复制粘贴，用迅雷可以进行下载。

到这里产生一个疑问，为什么传入的x_dec只用到了他的维度，并没有用到这个数据本身呢？从train开始进入，看看数据是怎么样的。（1）进入了exp_main中的def train中。（2）进入了exp_main中的这个get data中。这个get data这个函数，调用的是data provider这个方法，他需要的参数是args和，flag。flag代表着是训练还是测试还是验证。（3）进入到了

强化学习

ABSTRACT：连接顺序选择对查询性能起着非常重要的作用。然而，现代的查询优化器通常使用静态的连接顺序枚举算法，并没有包含也有关质量的反馈。因此优化器经常会重复的选择一个糟糕的计划，因为他们没有从错误中进行学习的机制。在这里，我们认为（argue）深度强化学习技术可以用来应对这一挑战。这些由人工神经网络支持的技术可以通过结合反馈来自动的改善优化器的决策执行。为了实现这一个目标，我们提供了ReJO

从Encoder的整体来看，红色部分是词编码，黄色部分是位置编码，绿色部分是encoder计算层。红色和黄色部分只进行一次，而对于绿色部分经过for循环列表会执行多次，也就是下图中的N。本文接下来将对红色和黄色的部分进行分析：整体结构如图：1.词编码nn.Embedding需要目标词库的长度，以及想要转换的维度。在实例化的forward使用中，输入的enc_inputs的维度是（2，6）也就是（b

k-core：是G的最大子图，其中每个顶点在子图中的度至少为kk-truss：束，G的最大子图，其中每条边至少包含在（k− 2）子图中的三角形。k-clique.：是G的k个顶点的集合，使得每对顶点都有一条边。k-ECC. A k-ECC (k-edge connected component)：G的一个子图，在去掉任何k–1边后，它仍然是连通的。...