EM算法及其推广EM算法二级目录三级目录EM算法EM算法：含有隐变量的概率模型参数的极大似然估计法或极大后验概率估计法。每次迭代分为E步（极大期望）和M步（求极大）。三硬币模型在这个实例中，抛硬币A的结果（这里记为Z ）是无法观测的，所以该结果称之为隐变量。在该例子中，也可以称（Y,Z）为完全数据，Y为不完全数据设随意变量Y为观测到的抛硬币的结果（即观测变量），θ=(π,p,q)\theta=(\

决策树5.1 决策树模型与学习5.2 特征选择5.2.1 信息增益5.1 决策树模型与学习分类决策树模型是一种描述对实例进行分类得树形结构。内部节点表示一个特征或属性，叶子节点表示一个类。路径上内部节点的特征对应着规则的结论，而叶节点的类对应着规则的结论。决策树的路径具有一个重要的性质：互斥并且完备，每一个实例都被一条路径或一条规则所覆盖，且只被一条路径或一条规则所覆盖。决策树与条件概率决策树还可

提升方法8.1提升方法AdaBoost8.1.1提升方法的基本思路8.1.2AdaBoost算法8.1.3AdaBoost的例子8.2AdaBoost算法的训练误差分析8.1提升方法AdaBoost简单来讲，提升方法在分类问题中，通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，最终提高分类的性能。8.1.1提升方法的基本思路首先需要了解两个概念，强学习算法和弱学习算法。强学习算

这里写目录标题1. Logistic 回归模型2. 模型参数估计2.1 梯度下降法求参2.2 改进的迭代尺度发求参2.3 牛顿法求参2.4 拟牛顿法求参三级目录1. Logistic 回归模型广义上的线性回归为：f(x)=g−1(ωxT+b)f(x)=g^{-1}(\omega x^T+b)f(x)=g−1(ωxT+b)其中g称为联系函数（应为连续函数且充分光滑），例如lnlnln等。当进行分类问