《机器学习》，即西瓜书是机器学习的入门书籍，也是比较完整的书，

此笔记是通读西瓜书后，对于重要知识点进行总结和完善，对于一些公式进行了完整的推导后的学习笔记，同时也参考了李航老师的《统计学习方法》，还有很多其他老师的博客共同所得。整体章节和西瓜书基本保持一致，但是会增删部分小节。

目录

1.机器学习概述

1.1.人工智能与机器学习

1.2.机器学习分类

1.3.机器学习应用

1.4.机器学习常用术语解释

2.模型的评估与选择

2.1.经验误差与过拟合

2.2.评估方法

2.3.性能度量

2.4.偏差与方差

3.线性回归

3.1.什么是回归

3.2.一元线性回归

3.3.多元线性回归

3.4.对数几率回归

3.5.线性判别分析（LDA）

3.6.多分类学习

3.7.类别不平衡问题

4.决策树

4.1.决策树概述

4.2.ID3算法

4.3.C4.5算法

4.4.CART决策树

4.5.剪枝处理

4.6.连续与缺失值处理

5.神经网络

5.1.神经元模型

5.2.感知机与多层网络

5.3.反向传播算法

5.4.全局最小与局部最小

6.支持向量机

6.1.间隔与支持向量

6.2.对偶问题

6.3.核函数

6.4.软间隔

7.贝叶斯分类器

7.1.贝叶斯决策论

7.2.极大似然估计（MLE）

7.3.朴素贝叶斯分类器

7.4.EM算法

8.集成学习

8.1.个体与集成

8.2.Boosting

8.3.Bagging与随机森林

8.4.结合策略

8.5.多样性（diversity）

9.聚类

9.1.聚类任务

9.2.性能度量

9.3.距离计算

9.4.k-means聚类

9.5.学习向量量化（LVQ）

9.6.高斯混合模型（GMM）

9.7.密度聚类

9.8.层次聚类

10.降维

10.1.k近邻学习（kNN）

10.2.主成分分析（PCA）

11.特征选择与稀疏学习

11.1.子集搜索与评价

11.2.过滤式选择

11.3.包裹式选择

11.4.嵌入式选择与正则化

12.计算学习理论

13.半监督学习

13.1.主动学习与半监督学习

13.2.生成式方法

13.3.半监督SVM

13.4.图半监督学习

13.5.基于分歧的方法

13.6.半监督聚类

14.隐马尔可夫模型

14.1.隐马尔可夫模型概念

14.2.概率计算问题

14.3.学习问题

14.4.预测问题

15.强化学习

15.1.任务与奖赏

15.2.k-摇臂赌博机