算法简介支持向量机(SVM)是种二类分类模型。 它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机:支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。支持向量机的学习算法是求解凸二次规划的最优化算法。支持向量机学习方法包含构建由简至繁的模型:线性可分支

“注意力机制”来源于人类最自然的选择性注意的习惯。最典型的例子是用户在浏览网页时，会选择性地注意页面的特定区域，忽视其他区域。正是基于这样的现象，在建模过程中考虑注意力机制对预测结果的影响，往往会取得不错的收益。近年来，注意力机制广泛应用于深度学习的各个领域，无论是在自然语言处理、语音识别还是计算机视觉领域，注意力模型都取得了巨大的成功。从2017年开始，推荐领域也开始尝试将注意力机制引入模型之中

主成分分析法是一种常用的无监督学习方法，这一方法利用正交变换把由线性相关变量表示的观察数据转换为少数几个由线性无关变量表示的数据，线性无关的变量称为主成分。主成分分析主要用于发现数据中的基本结构，即数据中变量之间的关系，是数据分析的有利工具，也用于其他机器学习方法的前处理。关键理论或技术技术在PCA中，数据从原来的坐标系转换到了新的坐标系，新的坐标系的选择是由数据本身决定的。第一个新坐标轴选择的是

基本思想GBDT的基本结构是决策树组成的森林，学习方式是梯度提升。具体的讲，GBDT作为集成模型，预测的方式是把所有子树的结果加起来。GBDT通过逐一生成决策子树的方式生成整个森林，生成新子树的过程是利用样本标签值与当前树林预测值之间的残差，构建新的子树。例如，当前已经生成了3课子树了，则当前的预测值为D(x)=d1(x)+d2()x+d3(x)，此时我们得到的当前的预测值为D(x)效果并不好，与