综述：数据挖掘是指以某种方式分析数据源，从中发现一些潜在的有用的信息，所以数据挖掘又称作知识发现，而关联规则挖掘则是数据挖掘中的一个很重要的课题，顾名思义，它是从数据背后发现事物之间可能存在的关联或者联系。关联规则的目的在于在一个数据集中找出项之间的关系，也称之为购物蓝分析 (market basket analysis)。例如，购买鞋的顾客，有10%的可能也会买袜子，60%的买面包的顾客，也..

刚才突然有一点懵。。神经网络的非线性到底体现在哪里？结合感知机为什么是线性模型思考了一下。即使自我感觉已经把神经网络的结构搞的很透彻了，但是时不时得多问问自己还是可以发现新的问题。线性模型和非线性模型区别线性模型可以是用曲线拟合样本，但是分类的决策边界一定是直线的，例如logistics模型区分是否为线性模型，主要是看一个乘法式子中自变量x前的系数w,如果w只影响一个x，那么此模型...

概述在求解最优化问题中，拉格朗日乘子法（Lagrange Multiplier）和KKT（Karush Kuhn Tucker）条件是两种最常用的方法。在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。我们这里提到的最优化问题通常是指对于给定的某一函数，求其在指定作用域上的全局最小值(因为最小值与最大值可以很容易转化，即最大值问题可以转化成最小值问题)。提到KKT条件一般会附...

引言Haar分类器又称Viola-Jones识别器，是Viola和Jones分别在2001年的《Rapid Object Detection using a Boosted Cascade of Simple Features》和2004年的《Robust Real-Time Face Detection》提出并改进的。Haar分类器由 Haar 特征提取、离散强分类器、强分类级联器组成。核心..

之前写了几篇原理性的文章，先列一个目录好了。【数学基础】拉格朗日乘子法【数学基础】KKT条件【数学基础】拉格朗日对偶【机器学习】SVM线性可分【机器学习】SVM基本线性可分与多分类【机器学习】SVM核方法【机器学习】SVM之Hinge Loss，从LR到SVM，SVM核函数进一步理解【机器学习】SVM之回归模型写的还算详细，原理与推导具体可以参照以上。不过还差了...

前言，MLE与MAP的联系在前一篇文章参数估计之极大似然估计中提到过频率学派和贝叶斯学派的区别。如下图在极大似然估计（MLE）中，我们求参数，通过使得似然函数最大，此时为一个待估参数，其本身是确定的，即使目前未知。MLE求的是怎样的参数可以让事件集发生的概率最大。通过不断改变固定的参数去寻找一个极大值。在最大后验估计（MAP）中，引用贝叶斯学派的思想，将参数看成一个随机变量...

在之前的两篇文章岭回归以及L1正则化与L2正则化详解中都有提到L2范数。但对于L2范数在优化计算角度上都跳过了。故在这里新开一篇详细介绍一下，为什么L2范数可以解救病态矩阵，以及优化计算。病态系统现在有线性系统： ， 解方程很容易得到解为： 。如果在样本采集时存在一个微小的误差，比如，将 A 矩阵的系数 400 改变成 401：则得到一个截然不同的解： 。当解集 x 对...

继介绍完拉格朗日乘子法与KKT条件之后，再来讲讲拉格朗日对偶变换。为接下来彻底搞清楚SVM做好铺垫。在优化理论中，目标函数会有多种形式:如果目标函数和约束条件都为变量的线性函数, 称该问题为线性规划； 如果目标函数为二次函数, 约束条件为线性函数, 称该最优化问题为二次规划; 如果目标函数或者约束条件均为非线性函数, 称该最优化问题为非线性规划。每个线性规划问题都有一个与之对应的对偶问题，...

奇异值分解，就是把矩阵分成多个“分力”。奇异值的大小，就是各个“分力”的大小。之前在介绍矩阵特征值与特征向量的时候，也是以运动作为类比。一、通俗理解奇异值1、翻绳对于翻绳的这个花型而言，是由四只手完成的：我们可以认为这个花型是由两个方向的力合成的：容易想象，如果其中一个力（相比另外一个力而言）比较小的话，那么绳子的形状基本上由大的那个力来决定：2、奇异值...

一、非齐次线性方程组，无解，多解，唯一解非齐次线性方程组，就是方程组的等式右边不为0的方程组，系数加上方程等式右边的矩阵，叫做增广矩阵。【例1】求解下列线性方程组化简后的有效方程组个数小于未知数个数，有多个解。第一步，先列出增广矩阵：第二步，用高斯消元法化简，化简成阶梯矩阵先把第2行换到第1行 第2行减第1行的2倍，第3行减第1行的3倍，得到 第3行减...