登录社区云，与社区用户共同成长
邀请您加入社区
本文重点介绍了LightGBM的实现及调参方法。作为GBDT家族的高效框架，LightGBM通过直方图算法、单边梯度采样等优化策略，在速度和内存效率上优于XGBoost。文章首先详解了LightGBM的关键参数（如num_leaves、learning_rate等），然后给出Python实现的两种方式：Scikit-learn接口和原生API示例。在调优部分，重点讲解了使用GridSearchCV
XGBoost算法案例实战——信用评分模型
假设你在一家媒体公司工作。你正在对用户活动数据集进行 Boosting 算法的训练，以预测用户是否会转换为付费订阅。在训练模型时，一位同事建议将模型分为两个，一个针对老用户，另一个针对新用户。这是否是一个好方法？为什么？
Gradient-boosting（梯度提升）算法是一种基于迭代思想的集成学习算法，它通过结合多个弱学习器来构建一个强学习器。在每一次迭代中，Gradient-boosting算法都会根据当前模型的预测误差来训练一个新的弱学习器，并将其加入到现有的模型中，以减小整体的预测误差。这种逐步优化的过程使得Gradient-boosting算法在处理复杂预测任务时表现出色。
Gradient-boosting是一种集成学习方法，通过迭代地训练弱学习器来逼近目标函数。在每次迭代中，算法都会根据当前模型的残差来训练一个新的弱学习器，并将该学习器添加到模型中。通过不断迭代，模型能够逐步逼近真实的目标函数，从而提高预测的准确性。常见的Gradient-boosting算法包括XGBoost、LightGBM等。
梯度提升，GBM, XGboost，变量重要性
XGBoost（eXtreme Gradient Boosting）极致梯度提升，是一种基于GBDT的算法或者说工程实现。XGBoost的基本思想和GBDT相同，但是做了一些优化，比如二阶导数使损失函数更精准；正则项避免树过拟合；Block存储可以并行计算等。XGBoost具有和的特点，在数据挖掘、推荐系统等领域得到广泛的应用。XGBoost 主要是用来解决有监督学习问题，此类问题利用包含多个特征
大家好，我是爱酱。本篇延续我上三篇Boosting (XGBoost, LightGBM, AdaBoost)，继续去讲解CatBoost（Categorical Boosting）的核心原理、算法细节、数学表达、优缺点、工程实现与实际意义，帮助你全面理解这一经典Boosting算法的本质与应用。注：本文章含大量数学算式、详细例子说明及大量代码演示，大量干货，建议先收藏再慢慢观看理解。新频道发展不
集成学习（Ensemble Learning）是一种通过结合多个模型的预测结果来提高整体预测性能的技术。它通过将多个学习器的结果集成起来，使得最终的模型性能更强，具有更好的泛化能力。常见的集成学习框架包括：Bagging、Boosting、Stacking。
9、集成学习 ensemble learning通过构建并结合多个学习器来完成学习任务，有时也称为多分类器系统multi-classifier system、基于委员会的学习committee-based learning同质homogeneous集成：集成中只包含同种类型的个体学习器，其中的个体学习器亦称基学习器，相应的学习算法称为基学习算法异质heterogeneous集成：包含不同类型的个体
一、 引言为了回馈tushare平台免费对高校学生开放使用，本人（tushare ID :421217）与大家分享一下基于tushare数据的量化交易。本文主要分为数据搜集与算法实现两个部分，在数据搜集部分本文主要利用tushare平台搜集了沪市A股在2012-1~2021-9的行情类、每股类、情绪类、动量类、统计类与常见的技术指标及部分特征滞后项共87个特征（具体指标可见代码），总计88163条
基于互信息筛选Top-3高判别特征，生成15种多特征组合，通过分位数阈值搜索确定最优分类阈值，再经互信息多样性筛选，最终保留8-12个准确率>55%且低冗余的弱分类器，为后续集成提供基础组件。本文基于Iris数据集的Setosa与Versicolor二分类任务，围绕Quantum Boosting（QBoost）方法展开研究，通过数据预处理构建弱分类器，将集成问题转化为二次无约束二进制优化（QUB
原文链接：http://tecdat.cn/?p=24148原文出处：拓端数据部落公众号特别是在经济学/计量经济学中，建模者不相信他们的模型能反映现实。比如：收益率曲线并不遵循三因素的Nelson-Siegel模型，股票与其相关因素之间的关系并不是线性的，波动率也不遵循Garch(1,1)过程，或者Garch(?,?)。我们只是试图为我们看到的现象找到一个合适的描述。模型的发展往往不是由我们的理解
Gradient Boosting 是一种梯度下降模型，每一轮迭代都会训练一个新的基模型，然后将其加入到模型中，但是每个基模型的权重并不是固定的，而是根据残差的梯度来确定的。在每一轮迭代中，Gradient Boosting 会调整样本的权重，并使用残差来训练新的基模型，这样可以使得模型越来越关注于难以拟合的样本。在GBDT中，每一棵决策树都是在前一棵树的残差基础上进行训练。在每一轮迭代中，Ada
AdaBoost是一种具有自适应性质的Boosting集成学习算法，自适应性主要表现在自动提升被错误预测样本的权重，自动减少被正确预测样本的权重，使得弱学习器训练过程能够根据模型预测性能自动进行调整。
大家好，我是爱酱。本篇将会系统梳理XGBoost（eXtreme Gradient Boosting）的核心原理、算法细节、数学表达、工程实现与实际意义，帮助你全面理解这一机器学习领域“常胜将军”的本质。注：本文章含大量数学算式、详细例子说明及大量代码演示，大量干货，建议先收藏再慢慢观看理解。新频道发展不易，你们的每个赞、收藏跟转发都是我继续分享的动力！
本文将讨论一些众所周知的概念，如自助法、装袋（bagging）、随机森林、提升法（boosting）、堆叠法（stacking）以及许多其它的基础集成学习模型。
DataFrame.sampleDataFrame.sample方法主要是用来对DataFrame进行简单随机抽样的。PS：这里说的是简单随机抽样，表示是不能用来进行系统抽样、分层抽样的。DataFrame.sample这个方法可以从DataFrame中随机抽取行，也可以随机抽取列，这个方法接收的参数如下：DataFrame.sample(n=None, frac=None, replace=Fa
Bagging与Boosting是互补而非对立：前者通过多样性降低方差，后者通过迭代修正减少偏差算法选择取决于三大要素：数据规模（小数据→RF，大数据→XGBoost）、计算资源（CPU并行→RF，GPU加速→XGBoost）、业务需求（快速上线→RF，极致精度→XGBoost）调参是「数据驱动」的过程：从默认参数开始，通过学习曲线和网格搜索，逐步优化复杂度相关参数（如树深度、子采样率）工程实现注
本文介绍了机器学习中三种主流的集成学习方法：Bagging（如随机森林）、Boosting（如AdaBoost）和Stacking。Bagging通过并行训练多个模型并投票/平均结果来降低方差；Boosting则通过序列化训练弱学习器并加权组合来减少偏差；Stacking通过训练不同类型的基础模型，再将其输出作为元模型输入进行最终预测。文章通过鸢尾花数据集实例演示了三种方法的代码实现，并分析了各自
以上只是通用的运行库dll处理方式，如果你遇到缺失文件是第三方的软件文件，那么就需要下载到属于这个程序所匹配的版本的文件，然后将这个文件复制到这个程序的安装目录下才能解决问题。如果我们遇到关于文件在系统使用过程中提示缺少找不到的情况，如果文件是属于运行库文件的可以单独下载文件解决，但还是建议安装完整的运行库，可以尝试采用手动下载替换的方法解决问题！文件下载完成后，下方列表会有很多个不同版本的文件，
2025年APMCM数学建模竞赛C题聚焦QuantumBoosting(QBoost)在二分类任务中的应用。参赛者需基于Iris数据集构建弱分类器，将集成学习问题转化为QUBO模型，并使用KaiwuSDK的模拟退火算法求解。任务分为三部分：数据预处理与弱分类器构建、QBoost建模与QUBO转化、模型求解与评估。要求提交完整报告和代码，评审将考量模型设计、实现质量和分析深度。竞赛提供了量子计算学习
本文基于Iris数据集的Setosa与Versicolor二分类任务，围绕Quantum Boosting（QBoost）方法展开研究，通过数据预处理构建弱分类器，将集成问题转化为二次无约束二进制优化（QUBO）模型，并利用Kaiwu SDK模拟退火求解器求解，最终完成强分类器的构建与性能评估。：不同特征的数值范围差异大（如萼片长4.37.9cm，萼片宽2.04.4cm），直接用原始数据分类，模型
点击关注，桓峰基因桓峰基因生物信息分析，SCI文章撰写及生物信息基础知识学习：R语言学习，perl基础编程，linux系统命令，Python遇见更好的你
2022科大讯飞——糖尿病遗传风险检测挑战赛解决方案分享
基于Python（Numpy）和C++（Eigen）手撕常见的机器学习算法中的核心逻辑
本章翻译自Elasticsearch官方指南的ControllingRelevance一章。function_score查询function_score查询是处理分值计算过程的终极工具。它让你能够对所有匹配了主查询的每份文档调用一个函数来调整甚至是完全替换原来的_score。实际上，你可以通过设置过滤器来将查询得到的结果分成若干个子集，然后对每个子集使
机器学习入门核心算法：GBDT（Gradient Boosting Decision Tree）
【机器学习|学习笔记】提升回归树（Gradient Boosting Regression Trees，GBRT）的起源、发展、应用与前景，附代码实现示例。（二）
看了几篇，总感觉这个XGBoost不仅仅是对GBDT的改进版，还包含了对CART决策树的改进。书上说，XGBoost有很好的性能，在各大比赛中大放异彩，行吧，冲这句，好好看看！划水一整天，模型看了仨！不错，虽然现在在打哈欠，还是很想把XGBoost梳理梳理。这仨都是前k-1轮的，相当于常数。
现有的 DL 框架依赖于计算图 IR 来实现优化，比如自动微分（Auto Differentiation）和动态内存管理。然而计算图层级（Graph-level）的优化对硬件后端特定算子层级（Operator-level）的变换来说，往往视角太高了。这些框架大部分关注的都是服务器级 GPU 设备中的一小撮，而把目标机相关的优化委派给高度工程化的、厂家特化的算子库。这类算子库需要大量的人工调优，也因
西瓜书机器学习中的集成学习章节学习记录
点击关注，桓峰基因桓峰基因的教程不但教您怎么使用，还会定期分析一些相关的文章，学会教程只是基础，但是如果把分析结果整合到文章里面才是目的，觉得我们这些教程还不错，并且您按照我们的教程分析出来不错的结果发了文章记得告知我们，并在文章中感谢一下我们哦！公司英文名称：Kyoho Gene Technology (Beijing) Co.,Ltd.如果您觉得这些确实没基础，需要专
boosting
——boosting
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
讯飞AI开发者社区
天启AI社区
杭州城市开发者社区
DAMO开发者矩阵
2048 AI社区
R空间创作者社区
