MPC（Model Predictive Control，模型预测控制）的基本思想是通过建立一个系统的动态模型，并在每一个控制时刻使用这个模型来预测系统未来的行为。基于这些预测，它可以生成一个优化控制序列，然后通过执行第一个控制动作来调整系统状态，接着在下一个时刻重新计算和执行。这个过程反复进行，以使系统能够在未来的一段时间内优化一个特定的性能指标。系统模型化：建立描述系统动态行为的数学模型，通常

一、概念Exploitation执行能够获得最优收益的策略Exploration尝试更多可能的策略，不一定会是最优收益可能发现更好的策略二、策略探索的原则朴素方法贪心策略和 ϵ-greedy衰减贪心策略ϵ随时间衰减积极初始化给Q(a^i)一个较高的初始化值基于不确定性的度量显示地考虑动作的价值分布UCB：上置信界概率匹配Thompson Sampling根据每个动作成为最优的概率来选择动作状态搜索

最近刚接触，理解一些概念十分困难，尤其是动不动就冒出个看不懂的英语，让人抓狂。查了不少资料后做一个总结并加上一些自己的理解，理解若有误，烦请大家指出，相互学习。本文主要对这些名字进行解释，随后附上。首先需要了解一下图像分类检测的时间轴图来自Bounding box是在RCNN的时候就用了（至于bbox哪年提出的没去细究过），而box在Faster RCNN才提出，所以有些文章用anchor box

在声明一个变量的引用后，在本函数执行期间，该引用一直与其代表的变量相联系，不能再作为其他变量的别名。说得简单点：张三和三娃子是指同一个人，不能李四也叫三娃子，如果可以这样，叫三娃子去做什么，是叫李四呢还是张三呢，这就会乱套了。所以在C++中一个引用变量只能对应一个原始的变量，不能对应两个或多个原始的变量；下面简单说明引用：a)声明引用时必须指定它代表的是哪一个变量，即对它初始化。int &a=b;

蒙特卡洛方法和时间差分法的区别在于向后看的步数不同：MC方法相当于向后看无穷步，TD方法相当于向后看一步。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。如果大家喜欢这篇文章的话，希望大家收藏、转发、关注、评论、点赞，转载请注明出自这里。 PS：本随笔属个人学习小结，文中内容有参考互联网上的相关文章。如果您博文的链接被我引用，我承诺不会参杂

如下图所示，当位于红圈标出的区域时，梯度为0，此时梯度下降法就失效了，无法找到最优点。训练时，比如有1000个样本，把这些样本分为10批，就是10个batch。每一次参数的更新所需要损失函数并不是由一个数据获得的，而是由一组数据加权得到的，这一组数据的数量就是batchsize。左边红色的大框，指的是批量梯度下降把全部的样本由于一次更新权重的训练。，更行权重时，有几种方式。每次模型训练，更新权重时

相对于正常数据集，如果Batch_Size过小，训练数据就会非常难收敛，从而导致underfitting。增大Batch_Size,相对处理速度加快。增大Batch_Size,所需内存容量增加（epoch的次数需要增加以达到最好的结果）这里我们发现上面两个矛盾的问题，因为当epoch增加以后同样也会导致耗时增加从而速度下降。因此我们需要寻找最好的Batch_Size。再次重申：Batch_Size

重要性用于离线蒙特卡洛的不足：（1）使用重要性采样时会用什么方法避免pi非零而mu为零的问题？一般使用一些平滑算法，例如拉普拉斯一类的平滑这里beta是平滑的超参数。还有一种就是clip，也就是ratio如果绝对值超过了某个阈值a，那就设置成这个a值（符号不变）。这些方法其实都是损失了一点点bias，来换来bias的巨大下降。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

一、Batch概念什么是batch，准备了两种解释，看君喜欢哪种？如果把准备训练数据比喻成一块准备打火锅的牛肉，那么epoch就是整块牛肉，batch就是切片后的牛肉片，就是涮一块牛肉片（饿了吗？

蒙特卡洛方法和时间差分法的区别在于向后看的步数不同：MC方法相当于向后看无穷步，TD方法相当于向后看一步。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。如果大家喜欢这篇文章的话，希望大家收藏、转发、关注、评论、点赞，转载请注明出自这里。 PS：本随笔属个人学习小结，文中内容有参考互联网上的相关文章。如果您博文的链接被我引用，我承诺不会参杂