理解回忆

李烨的机器学习

 

1. 最速下降法
2. 朴素贝叶斯分类模型
3. 决策树
4. 支持向量机
5. 支持向量回归

 

最速下降法，找到目标函数的取值

朴素贝叶斯分类是在训练样本的基础上做一系列概率运算，然后用这些算出来的概率按朴素贝叶斯公式“拼装”成分类模型

逻辑回归，既分类又回归，模型函数在y=0.5附近非常敏感.

决策树，既分类又回归，找到目标熵最大的一个信息然后分类，从根节点开始，提取出待分类项中相应的特征，按照其值选择。ID3算法以信息增益为度量，选择分裂后信息增益最大的特征进行分裂，输出分支，依次向下，直到到达叶子节点，将叶子节点存放的类别或者回归函数的运算结果作为输出（决策）结果。

SVM, 支持向量机。寻找超平面， 以最大间隔把两类样本分开的超平面，是最佳超平面

分类的结果是离散的值，回归的是连续的值。

支持向量回归Support Vector Regression，SVR在线性函数两侧制造了一个“间隔带”，对于所有落入到间隔带内的样本，都不计算损失；只有间隔带之外的，才计入损失函数。之后再通过最小化间隔带的宽度与总损失来最优化模型。

 

最速下降法

朴素贝叶斯模型

逻辑回归

决策树

SVM，拉格朗日乘子法

SVR: