1. 感知机概述  感知机（perceptron）是二分类的线性分类模型，属于监督学习算法。输入为实例的特征向量，输出为实例的类别（取+1和-1）。感知机旨在求出将输入空间中的实例划分为两类的分离超平面。为求得超平面，感知机导入了基于误分类的损失函数，利用梯度下降法对损失函数进行最优化求解。  如果训练数据集是线性可分的，则感知机一定能求得分离超平面。如果是非线性可分的数据，则无法获得超平面。..

1. 感知机概述  感知机（perceptron）是二分类的线性分类模型，属于监督学习算法。输入为实例的特征向量，输出为实例的类别（取+1和-1）。感知机旨在求出将输入空间中的实例划分为两类的分离超平面。为求得超平面，感知机导入了基于误分类的损失函数，利用梯度下降法对损失函数进行最优化求解。  如果训练数据集是线性可分的，则感知机一定能求得分离超平面。如果是非线性可分的数据，则无法获得超平面。..

1. 核化线性降维  线性降维方法假设从高维空间到低维空间的函数映射是线性的，然而在有些时候，高维空间是线性不可分的，需要找到一个非线性函数映射才能进行恰当的降维，这就是非线性降维。线性可分问题与线性不可分问题  核化线性降维方法是一种典型的非线性降维方法，它基于核技巧对线性降维方法进行“核化”，然后再降维。  下面我们将要介绍的核主成分分析（KPCA）就是一种经典的核化线性降维...

1.BoostingBoosting族算法的工作机制为：先从初始训练集中训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，然后基于调整后的样本分布来训练下一个基学习器；重复进行，直到基学习器数目达到事先指定的值；最终将所有基学习器根据结合策略结合，得到最终的强学习器。Boosting中的基学习器是弱学习器，即仅仅比随机猜测好一点的模型，比如一个简单的决策树。使用弱学习器而不是...

1. 梯度提升决策树概述梯度提升决策树（Gradient Boosting Decision Tree，GBDT）是以决策树为基学习器的一种Boosting算法，它在每一轮迭代中建立一个决策树，使当前模型的残差在梯度方向上减少；然后将该决策树与当前模型进行线性组合得到新模型；不断重复，直到决策树数目达到指定的值，得到最终的强学习器。上一篇博客【机器学习】集成学习——Boosting与Ada...

版权声明：本文为博主原创文章，未经博主允许不得转载https://blog.csdn.net/pxhdky/article/details/84203421在上一篇博客【机器学习】决策树详解（ID3、C4.5）中，我们详细描述了决策树的原理、划分准则、生成、剪枝、连续值处理、缺失值处理，这篇博客我们主要讲述决策树算法中的CART算法。1. CART算法分类与回归树（Classifica...

1. 损失函数和风险函数损失函数度量模型一次预测的好坏，风险函数度量平均意义下模型预测的好坏。常用的损失函数有以下几种：（1）0-1损失函数（0-1 loss function）（1）（2）平方损失函数（quadratic loss functio...

1. 多项逻辑斯蒂回归模型多项逻辑斯蒂回归模型（multi-nominal logistic regression model），又称为Softmax Regression，是一个用来预测离散型随机变量的不同可能结果的概率的模型，用于进行多项分类。前面在逻辑斯蒂回归原理推导与求解中讲到的逻辑斯蒂回归模型是二项分类模型，用于二分类。将其推广为多项分类，假设离散型随机变量的取值集合是，那么多项...

1. 概念梯度下降法（Gradient Descent）又称最速下降法（Steepest descent）是一种常用的一阶优化方法，是一种用于求解无约束最优化问题的最常用的方法。它选取适当的初始值，并不断向负梯度方向迭代更新，实现目标函数的极小化，直到收敛。2. 梯度下降的直观解释以下山法作为类别，我们想要从山的某个位置下山，但我们并不知道山脚的位置，只能走一步算一步。从当前位置出发，...

  设特征空间χ\chiχ是nnn维实数向量空间RnR^nRn，xi,xj∈χ{x_i},{x_j} \in \chixi​,xj​∈χ，xi=(xi(1),xi(2),⋯ ,xi(n))Tx _ { i } = \left( x _ { i } ^ { ( 1 ) } , x _ { i } ^ { ( 2 ) } , \cdo