几种主要的神经网络一、全连接神经网络二、前馈神经网络（Feedforward neural network，FNN）三、卷积神经网络（Convolutional Neural Network，CNN）四、循环神经网络（Recurrent neural network，RNN ）一、全连接神经网络顾名思义，全连接神经网络中，对n-1层和n层而言，n-1层的任意一个节点，都和第n层所有节点有连接。即第

目录引入一、线性回归 (Linear Regression)二、逻辑回归 (Logistic Regression)三、决策树 (Decision Tree)四、支持向量机算法 (Support Vector Machine,SVM)五、K邻近算法（K-Nearest Neighbors，KNN）六、K-均值算法（K-means）七、朴素贝叶斯 (Naive Bayes)八、随机森林 (Rando

流形学习（manifold learning）是一类借鉴了拓扑流行概念的降维方法，在降维时，若低维流行嵌入到高维空间中，则数据样本在高维空间的分布虽然看上去十分复杂，但在局部上仍具有欧式空间（对现实空间的规则抽象和推广）的性质。我们先来理解流形： 流形(manifold)是一般几何对象的总称，包括各种维度的曲线与曲面等，和一般的降维分析一样，流形学习是把一组在高维空间中的数据在低维空间中重新表示。

K-均值是通过对数据集进行分类来聚类的，属于无监督学习，为聚类问题提供了一种解决方案。在数据集没有标注的情况下，便于对数据进行分群。而K-Means中的K即指将数据集分成K个子集合。算法把 n 个点（可以是样本的一次观察或一个实例）划分到 k 个集群（cluster），使得每个点都属于离他最近的均值（即聚类中心，centroid）对应的集群。重复上述过程一直持续到重心不改变。k均值类算法仅在凸形簇

随机森林是一个高度灵活的机器学习方法，利用多个决策树对样本进行训练、分类并预测，主要应用于回归和分类场景。在以决策树为基学习器构建Bagging集成的基础上，进一步在决策树的训练过程中引入了随机属性选择（即引入随机特征选择）。简单来说，随机森林就是对决策树的集成，但随机森林中决策树的分类特征是在所有特征中随机选择的。随机森林中有许多的分类树。我们要将一个输入样本进行分类，我们需要将输入样本输入到每

通常情况下，在收集数据集时会有很多的特征，这代表着数据是高冗余的表示，但是对于某个工程来说其实可能并不需要那么多的特征。所以就需要给数据进行降维（Dimensionality Reduction）。降维可以简化数据，使数据集更易使用，降低时间开销，而且能减少一部分噪音的影响，使最后的效果变好。目前，主要降维方法有：主成分分析法(Principal Component Analysis, PCA)、

通常情况下，在收集数据集时会有很多的特征，这代表着数据是高冗余的表示，但是对于某个工程来说其实可能并不需要那么多的特征。所以就需要给数据进行降维（Dimensionality Reduction）。降维可以简化数据，使数据集更易使用，降低时间开销，而且能减少一部分噪音的影响，使最后的效果变好。目前，主要降维方法有：主成分分析法(Principal Component Analysis, PCA)、

支持向量机（Support Vector Machine，SVM） 是一种用于分类问题的监督算法。SVM模型将实例表示为空间中的点，将使用一条直线（超平面）分隔数据点，且是两类数据间隔（边距：超平面与最近的类点之间的距离）最大。只通过几个支持向量就确定了超平面，说明它不在乎细枝末节，所以不容易过拟合，但不能确保一定不会过拟合。可以处理复杂的非线性问题。如下图：H1 没有将这两个类分开。但 H2 有

k近邻(k-Nearest Neihbor , kNN)学习就是一种常用的监督学习方法。它的工作机制：给定测试样本，基于距离度量找出训练集中与测试样本最靠近的k个训练样本，然后基于这k个邻居的信息来进行预测。K近邻算法通过在整个训练集中搜索 K个最相似的实例（欧氏距离最近的k个），并为所有这些K个实例分配一个公共输出变量，来对预测对象进行分类。属于有监督学习，是一种基于实例的学习，是局部近似和将所

随机森林是一个高度灵活的机器学习方法，利用多个决策树对样本进行训练、分类并预测，主要应用于回归和分类场景。在以决策树为基学习器构建Bagging集成的基础上，进一步在决策树的训练过程中引入了随机属性选择（即引入随机特征选择）。简单来说，随机森林就是对决策树的集成，但随机森林中决策树的分类特征是在所有特征中随机选择的。随机森林中有许多的分类树。我们要将一个输入样本进行分类，我们需要将输入样本输入到每