稀疏奖励该怎么办？ Sparse Reward

深度强化学习-模仿学习 Imitation Learning

训练数据和测试数据我们现在已经对机器学习三板斧已经有了比较深入的了解，其实机器学习的过程就是找到一个数学模型（函数），来进行问题求解。但是如何从找到的函数集合中挑选最好的，很多同学已经可以脱口而出了：那就是找到让Loss函数最小的函数最小就可以了。 但是，这个让Loss函数最小的结果从哪里得出？，这就带出来训练数据集合测试数据集的概念了。 直觉上，我们的模型在训练数据集表现的好，在测试数据集上..

可以自己学习的激活函数（Maxout）在深度学习中激活函数有sigma， tanh， relu，还有以后会将到的selu，但是有没有一个激活函数不是人为设定的，是机器学出来的呢？对抗网络（GAN）之父Goodfellow，给我们一个肯定的答案。Learnable activation function [Ian J. Goodfellow, ICML’13]我们以两个输入的input举例，当然..

Q learning进阶： Double DQN和 Dulling DQN

计划采样 Scheduled Sampling当我们用Seq2Seq模型进行训练和测试的时候，很容易遇到Mismatch的问题，因为训练的时候，不同的timestep输入的是groudTruth的值，但是测试的时候，不同的timestep输入的是生成的值。具体我们看下面的解释。1. 训练和测试的Mismatch训练的时候：测试的时候：Testing: The inputsare t...

策略梯度前一篇主要讲解的是价值函数的近似，然后根据价值函数来制定策略。本篇中策略P(a|s)将从一个概率集合变成策略函数本身π(s,a)，通过借助策略相关的目标函数梯度的引导，寻找与目标函数的极值，进而得到最优策略。1. 简介 Introduction上一篇主要内容是如何对价值函数进行近似的参数化表达，包括状态价值函数和行为价值函数：随后一个策略可以直接从价值函数中产生，比如使用Ɛ-gr...

马尔科夫决策过程 MDP在强化学习中，马尔科夫决策过程（Markov decision process, MDP）是对完全可观测的环境进行描述的，也就是说观测到的状态内容完整地决定了决策的需要的特征。几乎所有的强化学习问题都可以转化为MDP。本讲是理解强化学习问题的理论基础。1.马尔科夫过程 Markov Process某一状态信息包含了所有相关的历史，只要当前状态可知，所有的历史信息都不再...

深度学习（十六）循环神经网络 4（BiDirectionalRNN， Highway network， Grid-LSTM）RNN处理时间序列数据的时候，不仅可以正序，也可以正序+逆序（双向）。下面显示的RNN模型，不仅仅是simple RNN，可以是LSTM，或者GRU1 BiDirectionalRNN当然，RNN的层数也不仅仅是一层2. Highway network通...

计划采样 Scheduled Sampling当我们用Seq2Seq模型进行训练和测试的时候，很容易遇到Mismatch的问题，因为训练的时候，不同的timestep输入的是groudTruth的值，但是测试的时候，不同的timestep输入的是生成的值。具体我们看下面的解释。1. 训练和测试的Mismatch训练的时候：测试的时候：Testing: The inputsare t...