LightGBM算法1 算法原理2 代码实践1 算法原理2 代码实践

1 基础知识1.1 条件概率条件概率是指我们感兴趣的事一件事先发生作为前提下，发生的概率。给定事件B在事件A发生的前提下发生的概率记为P(B|A)：P(B∣A)=P(A,B)P(A) P(B|A) = \frac{P(A,B)}{P(A)}\,P(B∣A)=P(A)P(A,B)​其中P(A,B)表示A、B同时发生的概率，P(A)表示A事件发生的概率。1.2 贝叶斯规则我们经常会需要在已知P(A|B

XDBoost算法1 XGBoost算法原理1.1 算法推导1.2 优缺点1 XGBoost算法原理XGBoost算法在Gradient Boosting框架下实现，是一个优化的分布式梯度增强库，旨在实现高效，灵活和便携，本质上还是一个GBDT。Xgboost算法以CART决策树为子模型，通过Gradient Tree Boosting实现多棵CART树的集成学习，得到最终模型。 XGBoost提

基于图神经网络的节点表征学习1 数据准备在图节点预测或边预测任务中，首先需要生成节点表征。高质量节点表征应该能用于衡量节点的相似性，然后基于节点表征可以实现高准确性的节点预测或边预测，因此节点表征的生成是图节点预测和边预测任务成功的关键。基于图神经网络的节点表征学习可以理解为对图神经网络进行基于监督学习的训练，使得图神经网络学会产生高质量的节点表征。在节点预测任务中，对于一个图上的很多节点，部分节

XDBoost算法1 XGBoost算法原理1.1 算法推导1.2 优缺点1 XGBoost算法原理XGBoost算法在Gradient Boosting框架下实现，是一个优化的分布式梯度增强库，旨在实现高效，灵活和便携，本质上还是一个GBDT。Xgboost算法以CART决策树为子模型，通过Gradient Tree Boosting实现多棵CART树的集成学习，得到最终模型。 XGBoost提

梯度提升决策树（GBDT）1 基于残差学习的梯度提升树2 梯度提升决策树（GBDT）3 算法实践梯度提升决策树（GBDT），在传统机器学习中算得上是TOP3的算法。GBDT使用的基学习器是CART回归树，而且无论是回归还是分类，都使用的是回归树。为什么不使用决策树呢？因为GBDT每次迭代要拟合的是梯度值，也就是说样本标签是连续的，因此需要使用回归树。（对于决策树的构造原理可以参考我这篇文章）1 基

K近邻（KNN）1 KNN 原理1.1 模型优化1.1.1 K值的选择1.1.2 距离/相似度度量1.1.3 投票策略1.2 KNN的应用1.3 泛化性能2 代码实践2.1 回归任务2.2 分类任务2.3 缺失值填充1 KNN 原理K近邻学习是一种常用的监督学习方法，也是“懒惰学习”的代表（因为它没有显式的学习过程）。它的思想很简单：给定测试样本，基于某种距离度量找出训练集中与其最靠近的K个样本，

卷积神经网络1 卷积2 卷积神经网络基本原理2.1 卷积层2.2 激活函数2.3 池化层2.4 全连接层2.5 输出层2.6 卷积神经网络的训练3 经典卷积神经网络3.1 LeNet-53.2 AlexNet3.3 VGGNet3.4 Inception Net3.5 ResNet3.6 DenseNet4 主要应用卷积神经网络是指哪些至少在一层中使用卷积运算代替一般的矩阵乘法运算的神经网络，是一

LightGBM算法1 算法原理2 代码实践1 算法原理2 代码实践

AdaBoost1 AdaBoost原理1.1 算法流程2 代码实践1 AdaBoost原理AdaBoost算法是一种Boosting算法，它在解决Boosting算法提出的两个问题时，给出的答案是：1、(改变数据分布的问题) 提高那些在前一轮分类器中被错误分类的样本的权重，减小那些被正确分类样本的权重，这样那些被分类错误的样本在后续的训练中得到了更大的关注；2、(组合各个弱分类器策略的问题) 各