通俗的理解有监督学习和无监督学习有监督学习：对具有概念标记（分类）的训练样本进行学习，以尽可能对样本集外的数据进行标记（分类）预测，相当于有明确的分类目标。有监督学习可分为回归和分类。通俗的来说：有监督学习就是训练样本的标记信息是已知的，我们完成一个分类任务时，我们是知道要分为哪些类的，只是对数据进行提取属性再直接分类就好。无监督学习：对没有概念标记（分类）的训练样本进行学习，以发现训练样本集中的

流形学习（manifold learning）是一类借鉴了拓扑流行概念的降维方法，在降维时，若低维流行嵌入到高维空间中，则数据样本在高维空间的分布虽然看上去十分复杂，但在局部上仍具有欧式空间（对现实空间的规则抽象和推广）的性质。我们先来理解流形： 流形(manifold)是一般几何对象的总称，包括各种维度的曲线与曲面等，和一般的降维分析一样，流形学习是把一组在高维空间中的数据在低维空间中重新表示。

几种主要的神经网络一、全连接神经网络二、前馈神经网络（Feedforward neural network，FNN）三、卷积神经网络（Convolutional Neural Network，CNN）四、循环神经网络（Recurrent neural network，RNN ）一、全连接神经网络顾名思义，全连接神经网络中，对n-1层和n层而言，n-1层的任意一个节点，都和第n层所有节点有连接。即第

随机森林是一个高度灵活的机器学习方法，利用多个决策树对样本进行训练、分类并预测，主要应用于回归和分类场景。在以决策树为基学习器构建Bagging集成的基础上，进一步在决策树的训练过程中引入了随机属性选择（即引入随机特征选择）。简单来说，随机森林就是对决策树的集成，但随机森林中决策树的分类特征是在所有特征中随机选择的。随机森林中有许多的分类树。我们要将一个输入样本进行分类，我们需要将输入样本输入到每

支持向量机（Support Vector Machine，SVM） 是一种用于分类问题的监督算法。SVM模型将实例表示为空间中的点，将使用一条直线（超平面）分隔数据点，且是两类数据间隔（边距：超平面与最近的类点之间的距离）最大。只通过几个支持向量就确定了超平面，说明它不在乎细枝末节，所以不容易过拟合，但不能确保一定不会过拟合。可以处理复杂的非线性问题。如下图：H1 没有将这两个类分开。但 H2 有

k近邻(k-Nearest Neihbor , kNN)学习就是一种常用的监督学习方法。它的工作机制：给定测试样本，基于距离度量找出训练集中与测试样本最靠近的k个训练样本，然后基于这k个邻居的信息来进行预测。K近邻算法通过在整个训练集中搜索 K个最相似的实例（欧氏距离最近的k个），并为所有这些K个实例分配一个公共输出变量，来对预测对象进行分类。属于有监督学习，是一种基于实例的学习，是局部近似和将所

随机森林是一个高度灵活的机器学习方法，利用多个决策树对样本进行训练、分类并预测，主要应用于回归和分类场景。在以决策树为基学习器构建Bagging集成的基础上，进一步在决策树的训练过程中引入了随机属性选择（即引入随机特征选择）。简单来说，随机森林就是对决策树的集成，但随机森林中决策树的分类特征是在所有特征中随机选择的。随机森林中有许多的分类树。我们要将一个输入样本进行分类，我们需要将输入样本输入到每

决策树（Decision tree） 是一种特殊的树结构，由一个决策图和可能的结果（例如成本和风险）组成，用来辅助决策。决策树仅有单一输出，通常该算法用于解决回归和分类问题。机器学习中，决策树是一个预测模型，树中每个节点表示某个对象，而每个分叉路径则代表某个可能的属性值，而每个叶节点则对应从根节点到该叶节点所经历的路径所表示的对象的值。在每个节点上，我们根据可用的特征询问有关数据的问题。左右分支代

支持向量机（Support Vector Machine，SVM） 是一种用于分类问题的监督算法。SVM模型将实例表示为空间中的点，将使用一条直线（超平面）分隔数据点，且是两类数据间隔（边距：超平面与最近的类点之间的距离）最大。只通过几个支持向量就确定了超平面，说明它不在乎细枝末节，所以不容易过拟合，但不能确保一定不会过拟合。可以处理复杂的非线性问题。如下图：H1 没有将这两个类分开。但 H2 有

目录引入一、线性回归 (Linear Regression)二、逻辑回归 (Logistic Regression)三、决策树 (Decision Tree)四、支持向量机算法 (Support Vector Machine,SVM)五、K邻近算法（K-Nearest Neighbors，KNN）六、K-均值算法（K-means）七、朴素贝叶斯 (Naive Bayes)八、随机森林 (Rando