一、对偶问题    每个线性规划问题都有一个与之对应的对偶问题。对偶问题是以原问题的约束条件和目标函数为基础构造而来的。对偶问题也是一个线性规划问题，因此可以采用单纯形法（有关单纯形法会在以后的笔记中补充）求解。对偶问题的最优解也可以通过原问题的最优解得到，反之亦然。而且，在某些情况下，利用对偶理论求解线性规划问题更为简单，而且有助于深入了解待求问题的本质。二、对偶问题的定义与表述    考虑如下

一、最大熵原理    最大熵原理是概率模型学习的一个准则。最大熵原理认为，在学习概率模型时，在所有可能的概率分布中，熵最大的模型是最好的模型。通常用约束条件来确定概率模型的集合，所以，最大熵模型也可以表述为在满足约束条件的模型集合中选取熵最大的模型。    假设离散型随机变量XX的概率分布式P(X)P(X)，则其熵是：H(P)=−∑xP(x)logP(x)H(P)=-\sum_x P(x)

一. 模型的泛化与过拟合在上一节中，我们的预测函数为：f(x;ω)=ωTxf(x;\omega) = \omega^Tx其中，x=[x1],ω=[ω1ω0]x=\begin{bmatrix}x\\1\end{bmatrix},\omega=\begin{bmatrix}\omega_1\\\omega_0\end{bmatrix}上述称为线性模型，我们也可以将xx扩

一、引言决策树构建过程中的特征选择是非常重要的一步。特征选择是决定用哪个特征来划分特征空间，特征选择是要选出对训练数据集具有分类能力的特征，这样可以提高决策树的学习效率。如果利用某一个特征进行分类与随机分类的结果没有很大的差别，则称这个特征是没有分类能力的。这样的特征可以丢弃。常用的特征选择的准则是信息增益和信息增益比。二、信息增益要了解信息增益，我们要先知道熵与条件熵的定义。2.1 熵熵是无序度

一、最大熵原理    最大熵原理是概率模型学习的一个准则。最大熵原理认为，在学习概率模型时，在所有可能的概率分布中，熵最大的模型是最好的模型。通常用约束条件来确定概率模型的集合，所以，最大熵模型也可以表述为在满足约束条件的模型集合中选取熵最大的模型。    假设离散型随机变量XX的概率分布式P(X)P(X)，则其熵是：H(P)=−∑xP(x)logP(x)H(P)=-\sum_x P(x)