目标检测是什么object detection，就是在给定的图片中精确找到物体所在位置，并标注出物体的类别。所以，object detection要解决的问题就是物体在哪里以及是什么的整个流程问题。然而，这个问题可不是那么容易解决的，1、物体可以出现在图片的任何地方，并且其尺寸变化范围很大。2、摆放物体的角度，姿态不定。3、物体还可以是多个类别。目前学术和工业界出现的目标检测算法分成...

之前写了几篇原理性的文章，先列一个目录好了。【数学基础】拉格朗日乘子法【数学基础】KKT条件【数学基础】拉格朗日对偶【机器学习】SVM线性可分【机器学习】SVM基本线性可分与多分类【机器学习】SVM核方法【机器学习】SVM之Hinge Loss，从LR到SVM，SVM核函数进一步理解【机器学习】SVM之回归模型写的还算详细，原理与推导具体可以参照以上。不过还差了...

前言，MLE与MAP的联系在前一篇文章参数估计之极大似然估计中提到过频率学派和贝叶斯学派的区别。如下图在极大似然估计（MLE）中，我们求参数，通过使得似然函数最大，此时为一个待估参数，其本身是确定的，即使目前未知。MLE求的是怎样的参数可以让事件集发生的概率最大。通过不断改变固定的参数去寻找一个极大值。在最大后验估计（MAP）中，引用贝叶斯学派的思想，将参数看成一个随机变量...

在之前的两篇文章岭回归以及L1正则化与L2正则化详解中都有提到L2范数。但对于L2范数在优化计算角度上都跳过了。故在这里新开一篇详细介绍一下，为什么L2范数可以解救病态矩阵，以及优化计算。病态系统现在有线性系统： ， 解方程很容易得到解为： 。如果在样本采集时存在一个微小的误差，比如，将 A 矩阵的系数 400 改变成 401：则得到一个截然不同的解： 。当解集 x 对...

继介绍完拉格朗日乘子法与KKT条件之后，再来讲讲拉格朗日对偶变换。为接下来彻底搞清楚SVM做好铺垫。在优化理论中，目标函数会有多种形式:如果目标函数和约束条件都为变量的线性函数, 称该问题为线性规划； 如果目标函数为二次函数, 约束条件为线性函数, 称该最优化问题为二次规划; 如果目标函数或者约束条件均为非线性函数, 称该最优化问题为非线性规划。每个线性规划问题都有一个与之对应的对偶问题，...

奇异值分解，就是把矩阵分成多个“分力”。奇异值的大小，就是各个“分力”的大小。之前在介绍矩阵特征值与特征向量的时候，也是以运动作为类比。一、通俗理解奇异值1、翻绳对于翻绳的这个花型而言，是由四只手完成的：我们可以认为这个花型是由两个方向的力合成的：容易想象，如果其中一个力（相比另外一个力而言）比较小的话，那么绳子的形状基本上由大的那个力来决定：2、奇异值...

一、非齐次线性方程组，无解，多解，唯一解非齐次线性方程组，就是方程组的等式右边不为0的方程组，系数加上方程等式右边的矩阵，叫做增广矩阵。【例1】求解下列线性方程组化简后的有效方程组个数小于未知数个数，有多个解。第一步，先列出增广矩阵：第二步，用高斯消元法化简，化简成阶梯矩阵先把第2行换到第1行 第2行减第1行的2倍，第3行减第1行的3倍，得到 第3行减...

从统计推断讲起统计推断是根据样本信息对总体分布或总体的特征数进行推断，事实上，这经典学派对统计推断的规定，这里的统计推断使用到两种信息：总体信息和样本信息；而贝叶斯学派认为，除了上述两种信息以外，统计推断还应该使用第三种信息：先验信息。下面我们先把是那种信息加以说明。总体信息：总体信息即总体分布或总体所属分布族提供的信息。譬如，若已知“总体是正态分布”等等样本信息：即所抽取的样本的所有...

最大熵模型（Maximum Entropy Model，以下简称MaxEnt），MaxEnt 是概率模型学习中一个准则，其思想为：在学习概率模型时，所有可能的模型中熵最大的模型是最好的模型；若概率模型需要满足一些约束，则最大熵原理就是在满足已知约束的条件集合中选择熵最大模型。最大熵原理指出，对一个随机事件的概率分布进行预测时，预测应当满足全部已知的约束，而对未知的情况不要做任何主观假设。在这种情.

背景先来看看几个小例子：猎人师傅和徒弟一同去打猎，遇到一只兔子，师傅和徒弟同时放枪，兔子被击中一枪，那么是师傅打中的，还是徒弟打中的？一个袋子中总共有黑白两种颜色100个球，其中一种颜色90个，随机取出一个球，发现是黑球。那么是黑色球90个？还是白色球90个？看着两个小故事，不知道有没有发现什么规律...由于师傅的枪法一般都高于徒弟，因此我们猜测兔子是被师傅打中的。随机抽取一个球，是...