相比与DQN，策略梯度方法的区别主要在于，我们对于在某个状态下所采取的动作，并不由一个神经网络来决定，而是由一个策略函数来给出，而这个策略函数的目的，就是使得最终的奖励的累加和最大，这也是训练目标，所以训练会围绕策略函数的梯度来进行。在实际应用中，我们会使用多个样本轨迹来计算梯度的样本均值，并使用梯度上升法来更新策略函数的参数θ，以优化目标函数J(θ)。我们通过采样多个轨迹，计算每个轨迹的梯度，然

在Oracle中可以用SEQUENCE生成自增字段。Sequence序列是Oracle中用于生成数字序列的对象，可以创建一个唯一的数字作为主键。