蒙特卡洛方法和时间差分法的区别在于向后看的步数不同：MC方法相当于向后看无穷步，TD方法相当于向后看一步。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。如果大家喜欢这篇文章的话，希望大家收藏、转发、关注、评论、点赞，转载请注明出自这里。 PS：本随笔属个人学习小结，文中内容有参考互联网上的相关文章。如果您博文的链接被我引用，我承诺不会参杂

数据链路层的测试目的是保证每个节点的通讯参数能够保持一致性，所组成的网络能够正常有效的工作，内容包括位定时测试、采样点测试、SJW测试等等，节点测试完成后，可自动化导出详细CAN一致性测试报表，准确判断节点工作情况，一目了然。27%位宽的干扰逐渐以1%位宽的步进向右移动，在干扰的右边沿快靠近采样点时(如图5)，由于通信延迟的关系，此时采到的电平和CANScope发送的不一致了，导致DUT接收到的C

蒙特卡洛方法和时间差分法的区别在于向后看的步数不同：MC方法相当于向后看无穷步，TD方法相当于向后看一步。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。如果大家喜欢这篇文章的话，希望大家收藏、转发、关注、评论、点赞，转载请注明出自这里。 PS：本随笔属个人学习小结，文中内容有参考互联网上的相关文章。如果您博文的链接被我引用，我承诺不会参杂

一、概念Exploitation执行能够获得最优收益的策略Exploration尝试更多可能的策略，不一定会是最优收益可能发现更好的策略二、策略探索的原则朴素方法贪心策略和 ϵ-greedy衰减贪心策略ϵ随时间衰减积极初始化给Q(a^i)一个较高的初始化值基于不确定性的度量显示地考虑动作的价值分布UCB：上置信界概率匹配Thompson Sampling根据每个动作成为最优的概率来选择动作状态搜索

以求圆形面积为例一、期望累计奖励：也就是已知概率求均值S=Pirr也就是已知模型后再去求值，也就是马尔可夫过程（MDP）。二、经验均值累计奖励

重要性用于离线蒙特卡洛的不足：（1）使用重要性采样时会用什么方法避免pi非零而mu为零的问题？一般使用一些平滑算法，例如拉普拉斯一类的平滑这里beta是平滑的超参数。还有一种就是clip，也就是ratio如果绝对值超过了某个阈值a，那就设置成这个a值（符号不变）。这些方法其实都是损失了一点点bias，来换来bias的巨大下降。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

（1）蒙特卡洛方法是一类广泛的计算方法，依赖于重复随机抽样来获得数值结果。即基于大数定理的一种数学方法。（2）用蒙特卡洛方法的时候如果sample出的状态出现循环，导致永远无法停止该怎么处理？可以根据具体任务和环境检测重复出现的状态进行”剪枝“等处理。（3）蒙特卡洛方法适用环境？在强化学习问题中，我们可以用马尔可夫决策过程（MDP）和相关算法找出最优行动值函数，它通过策略迭代和值迭代找出最佳策略。

如下图所示，当位于红圈标出的区域时，梯度为0，此时梯度下降法就失效了，无法找到最优点。训练时，比如有1000个样本，把这些样本分为10批，就是10个batch。每一次参数的更新所需要损失函数并不是由一个数据获得的，而是由一组数据加权得到的，这一组数据的数量就是batchsize。左边红色的大框，指的是批量梯度下降把全部的样本由于一次更新权重的训练。，更行权重时，有几种方式。每次模型训练，更新权重时

一、sh概述sh是linux中运行shell的命令，是shell的解释器，是linux中壳层与命令行界面，用户可以在shell脚本输入命令来执行各种各样的任务。

相对于正常数据集，如果Batch_Size过小，训练数据就会非常难收敛，从而导致underfitting。增大Batch_Size,相对处理速度加快。增大Batch_Size,所需内存容量增加（epoch的次数需要增加以达到最好的结果）这里我们发现上面两个矛盾的问题，因为当epoch增加以后同样也会导致耗时增加从而速度下降。因此我们需要寻找最好的Batch_Size。再次重申：Batch_Size