线性判别分析(Linear Discriminant Analysis)是一种非常经典和实用的监督学习算法，主要应用于分类和降维，核心思想是将高维数据投影到低维空间，相同种类的样本点靠的尽可能近，不同种类的样本点靠的尽可能远。本篇文章我将采用循序渐进的思想，构建一个二维模式的样本特征点进行研究，并简单介绍一下数学原理在线性判别分析中的运用和如何构建一个线性判别分析。首先引入一个案列进行分析：在上图

决策树是一个递归生成过程的结果，面对一堆具有不同属性数据，我们根据不同类别样本具有不同的属性进行区分，重复进行这一步骤。我们有数据集{x1x2x3xnx1​x2​x3​...xn​}和属性集{a1a2a3ana1​a2​a3​...an​}当做到以下三种情况的时候，递归停止：(1)当前节点所包含的样本都属于同一类别。(2)当属性集为空或者所有样本在属性集的取值都相同时。(3)当前节点所包含的样本集

支持向量机（Support Vector Machine, SVM）是一种经典的监督学习算法，由 Vapnik 等人在 1990 年代提出。SVM 在分类和回归任务中表现优异，尤其在高维空间和小样本数据集上具有显著优势。本文将从基本原理、数学推导、核函数技巧到实际应用，系统介绍 SVM 的核心概念。