线性模型一、内容1.基本形式2.线性回归：均方误差是回归任务中最常用的性能度量3.对数几率回归：对数几率函数（logistic function）对率函数是任意阶可导的凸函数，这是非常重要的性质。4.线性判别分析（LDA 是一种降维的方法）5.多分类学习：5.1...

1.神经元模型2.感知机与多层网络3.误差逆传播算法(A)BP算法：最小化训练集D上的累积误差标准BP算法：更新规则基于单个Ek推导而得两种策略防止过拟合：（1）早停（通过验证集来判断，训练集误差降低，验证集误差升高）（2） 正则化：在误差目标函数中引入描述网络复杂度的部分...

一、基本内容1.基本流程决策树的生成过程是一个递归过程，有三种情形会导致递归返回（1）当前节点包含的yangben全属于同一类别，无需划分；（2）当前属性集为空，或是所有yangben在所有属性上的取值相同，无法划分；（3）当前结点包含的yangben集合为空，不能划分...

课后习题答案1.试用极大似然法估算西瓜集3.0中前3个属性的类条件概率。好瓜有8个，坏瓜有9个属性色泽，根蒂，敲声，因为是离散属性，根据公式（7.17）P(色泽=青绿|好瓜=是) = 3/8P(色泽=乌黑|好瓜=是) = 4/8P(色泽=浅白|好瓜=是) = 1/8...

1.个体与集成1.1同质集成1.2异质集成2.boosting:代表AdaBoost算法3.Bagging与随机森林3.1Bagging 是并行式集成学习方法最著名的代表（基于自主采样法bootstrap sampling）自己学习时编写了一些代码，参考了一些书上的资料...

最近需要学习机器学习，有一点点基础但是很少，希望能通过写博客的方式和大家交流以及学习达到共同进步的目的。绪论 ：一、内容1.基本术语2.假设空间与版本空间3.归纳偏好（常用的有奥卡姆剃刀） 没有免费的午餐定理（NoFreeLunchTheorem...

一、基本内容1.隐马尔可夫模型1.1. 假定所有关心的变量集合为Y,可观测变量集合为O,其他变量集合为R,生成式模型考虑联合分布P(Y,R,O),判别式模型考虑条件分布P(Y,R|O)，给定一组观测变量值，推断就是要由P(Y,R,O)或者P(Y,R|O)得到条件概率分布P(Y,...

一、1.间隔与支持向量2.对偶问题3.核函数xi与xj在特征空间的內积等于他们在原始yangben空间中通过函数k(.,.)计算的结果。核矩阵K总是半正定的。4.软间隔与正则化软间隔允许某些samples不满足约束松弛变量5.支持向量回归（SVR）6....

模型选择与评估一、内容1.经验误差与过拟合1.1 学习器在训练集上的误差称为训练误差（training error）,在新样本上的误差称为泛化误差（generalizion error）。1.2 当学习器把训练样本学习的“太好“了的时候，很有可能已经把训练样本自身的一些特...

模型选择与评估一、内容1.经验误差与过拟合1.1 学习器在训练集上的误差称为训练误差（training error）,在新样本上的误差称为泛化误差（generalizion error）。1.2 当学习器把训练样本学习的“太好“了的时候，很有可能已经把训练样本自身的一些特...