前面已经讲了强化学习的基本方法：基于动态规划的方法，基于蒙特卡罗的方法和基于时间差分的方法。这些方法有一个基本的前提条件，那就是状态空间和动作空间是离散的，而且状态空间和动作空间不能太大。我们回想一下已经介绍的强化学习方法的基本步骤是：首先评估值函数，接着利用值函数改进当前的策略。其中值函数的评估是关键。对于模型已知的系统，值函数可以利用动态规划的方法得到；对于模型未知的系统，

xmllint命令xmllint是一个很方便的处理及验证xml的工具，linux下只要安装libxml2就可以使用这个命令，下面整理一些常用功能1. --format此参数用于格式化xml，使其具有良好的可读性。假设有xml（person.xml）内容如下:<person><name>ball</name...

vxworks 中断处理程序之所以不用printf，本质在于printf是将信息输出到标准输出设备(STDOUT)中, 整个标准输出设备是一个全局变量，由于有semTake操作，那么就会发生阻塞，vxworks属于硬实时操作系统，不能在规定的时间内完成操作即会死机或复位。所以vxworks不用printf的原因在于阻塞。 网上说printf 因为引用全局变量stdout，所以是不可重入的。这个稍微

嵌入式（C）笔试题1 读程序段，回答问题(a)int main(int argc,char *argv[]){int c=9,d=0;c=c++%5;d=c;printf("d=%d\n",d);return 0;}a) 写出程序输出b) 在一个可移植的系统中这种表达式是否存在风险？why?答案：5存在风险，因为c=c++...

在TCP连接中，recv等函数默认为阻塞模式(block)，即直到有数据到来之前函数不会返回，而我们有时则需要一种超时机制使其在一定时间后返回而不管是否有数据到来，这里我们就会用到setsockopt()函数：    int  setsockopt(int  s, int level, int optname, void* optval, socklen_t* optlen);    这里我们..

总所周知，PID算法是个很经典的东西。而做自平衡小车，飞行器PID是一个必须翻过的坎。因此本节我们来好好讲解一下PID，根据我在学习中的体会，力求通俗易懂。并举出PID的形象例子来帮助理解PID。一、首先介绍一下PID名字的由来：P：Proportion（比例），就是输入偏差乘以一个常数。I  ：Integral（积分），就是对输入偏差进行积分运算。D：Derivative（微分），对输入...

multiple definition of 问题解决方法在编写代码时，我想让两个接口的函数从公用一个，现在分为两个来使用，但是函数的名字相同，放在两个不同的C文件中，编译后发现，在链接的时候，出现如下错误：multiple definition of `函数名'分析是因为两个函数重复定义了，我将每个函数分别加上static后，编译通过...

Linux下库文件的设置 （/usr/bin/ld: cannot find -lxxx 的解决办法）在软件编译过程中，经常会碰到类似这样的编译错误：/usr/bin/ld: cannot find -lhdf5这表示找不到库文件 libhdf5.so，若是其它库文件，则是 cannot find -lxxx 了，其中 xxx 是库文件的...

样本方差与总体方差一、方差（variance)：衡量随机变量或一组数据时离散程度的度量。                                概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。 统计中的方差（样本方差）是每个样本值与全体样本值的平均数之差的平方值的平均数。                       ...

Docker在WIN7上的配置为什么使用Docker ToolboxDocker在Windows上使用有两种方式，一是利用VirtualBox建立linux虚拟机，在linux虚拟机中安装docker服务端和客户端，二是利用Windows的Hyper-v虚拟化技术，直接在Windows上安装docker服务端和客户端。WIndows7不支持H...