这几天看书的时候突然注意到了这个经典的优化方法，于是重新推导了一遍，为以后应用做参考。背景最小二乘法应该是我接触的最早的优化方法，也是求解线性回归的一种方法。线性回归的主要作用是用拟合的方式，求解两组变量之间的线性关系（当然也可以不是线性的，那就是另外的回归方法了）。也就是把一个系统的输出写成输入的线性组合的形式。而这组线性关系的参数求解方法，就是最小二乘法。我们从最简单的线性回归开始，即输...

Wiener Filter因为最近看文章接触了维纳滤波，所以这里写一下Weiner Filter的一些简单理解和推导。基本定义维纳滤波是一种在含噪声的时序信号把信号提取出来的滤波器，其基本框图如下：简单的维纳滤波其实就是通过一个FIR滤波器，去除噪声的过程。在这里，hhh的作用也可以理解为： 通过训练集的数据对信号和噪声的建模，然后通过前几个点的信息，预测当前时刻的噪声信号所占的比例，然...

Optimal Linear Estimation背景最优线性估计算法是神经解码中一种比较常用的算法。在算法刚提出来的时候，其解码精度和解码速度都属于较高的水准，因此在脑机接口实验中应用广泛。随着神经网络的兴起以及传统机器学习算法的更新，BCI领域用来解码的算法也越来越多，例如KF，UKF，RNN，CNN等。OLE尽管计算精度不如目前的算法，但是计算量小，反馈迅速。因此目前在线的BCI实验OLE的

背景隐马尔可夫模型(Hidden Markov Model)是一种常用的统计模型。应用也比较广泛，在时序问题，以及语音识别等问题上有广泛的应用。下面简单介绍一下隐马尔可夫模型。隐马尔可夫模型是在马尔可夫过程的基础上，加入了隐含状态后的一种结构。这里首先介绍一下什么是马尔可夫过程(Markov Process)在一个随机过程中，有一个状态变量III，其下一时刻的状态之和之前的状态有关。例如布朗...