《机器学习：公式推导与代码实践》鲁伟著读书笔记。线性判别分析（Linear Discriminant Analysis，LDA）是一种经典的线性分类方法，其基本思想是将数据投影到低维空间，使得同类数据尽可能接近，异类数据尽可能疏远，所以线性判别分析也是一种监督降维算法。LDA公式推导线性判别分析的基本思想是将数据集投影到一条直线上，使得同类样本的投影点尽可能接近，不同类样本的投影点尽可能疏远。按此

《机器学习：公式推导与代码实践》鲁伟著读书笔记。K近邻（K-nearest neighbor，K-NN）算法是一种经典的监督学习的分类方法。K近邻算法是依据新样本与k个与其相邻最近的样本的类别来进行分类的，所以K近邻算法不像前面所学习到的机器学习其他方法一样，将有标签的样本用来训练模型，而是直接计算新样本与所有样本点的距离来确定分类情况的。K近邻算法的三要素为：k值的选择、距离的度量方式和分类决策