基于决策树分类和XGBoost算法的综合客户打分预测模型

摘 要

 本题主要研究的是北京移动用户影响因素模型，通过分析影响用户满意度打分的各种因素，为决策提供依据，从而提高用户满意度。首先，需要分别研究影响客户语音业务和上网业务满意度的主要因素，然后对于建立客户语音业务和上网业务建立客户打分基于相关影响因素的数学模型，最后对附件3，4中的客户打分进行实际预测。

对于问题一，研究影响客户语音业务和上网满意读的主要因素，然后给出各因素对客户打分影响的量化分析和结果。首先对数据文件进行预处理，对于文件中的数据进行数据清洗，即对空白值，异常值，无关值进行处理，最后对定类数据进行标签化处理。我们选用决策树分类模型和主成分分析法来综合对处理好的数据进行分析处理，在实际训练过程中，我们根据预测精度进行参数选取，然后构建模型，最后可以得到具体权重分配图和热力图。通过综合性分析，我们最终可以得出结论，影响客户语音业务的主要因素有: 是否遇到过网络问题、网络覆盖与信号强度、居民小区、手机没有信号、有信号无法拨通、办公室、通话过程中突然中断；影响上网业务满意度的主要因素有: 影响客户上网业务满意度的主要因素为：网络信号差/没有信号、居民小区、显示有信号上不了网、上网过程中网络时断时续或时快时慢、手机上网速度慢。之后我们计算了各因素对客户打分影响程度的量化分析并以相关图的形式呈现。

       对于问题二，针对客户语音业务和上网业务分别建立客户打分基于相关影响因素的数学模型，并据此对附件 3、4 中的客户打分进行预测研究。基于问题一建立的权重因素分析，所以经过综合的考量之后，我们选取了机器学习中的XGBoost分类方法进一步对题干数据进行处理分析，用GBDT梯度提升树表达方式XGBoost，然后通过二阶泰勒展开，正侧化展开，合并系数等方法进一步优化模型，最后综合建立二叉树。并且对自身数据进行训练集和预测集的划分，加强模型优化效果。同时使用不同的机器学习方法进行预测，寻找准确率较高合理的结果作为最终的预测结果分别保存到对应文件。

关键词：决策树分类、XGBoost算法、主成分分析、综合性分析

目录

一、 问题重述.......................................................................................................... 1

二、 问题分析.......................................................................................................... 1

2.1问题1的分析............................................................................................. 1

2.2问题2的分析............................................................................................. 2

三、 模型假设.......................................................................................................... 2

四、 定义与符号说明.............................................................................................. 2

五、 模型的建立与求解.......................................................................................... 3

5.1数据处理与分析......................................................................................... 3

1.1数据清洗.................................................................................................... 3

1.2数据变换.................................................................................................... 4

5.2问题1的主成分分析模型建立与求解..................................................... 4

2.1、数据无量纲化处理................................................................................. 5

2.2、进行KMO和Bartlett球形检验。....................................................... 5

2.3、求取相关性矩阵R的特征值和特征向量，提取公因子..................... 6

2.4分别研究影响客户语音业务和上网业务 满意度的主要因素.............. 8

5.3 问题1的决策树分类模型的建立............................................................ 9

3.1模型的建立................................................................................................ 9

3.2模型的求解.............................................................................................. 10

5.4 问题2的XGBoost 算法模型的建立.................................................... 11

4.1XGBoost模型的建立................................................................................ 12

4.2模型的求解.............................................................................................. 13

4.3决策树模型与XGBost的预测的比较.................................................... 14

4.4客户打分的预测结果.............................................................................. 14

表7 附件3语音业务用户满意度预测结果......................................................... 15

六、 模型的评价及优化........................................................................................ 16

6.1 模型的优点（建模方法创新、求解特色等）...................................... 16

6.2 模型的缺点.............................................................................................. 17

七、 参考文献........................................................................................................ 18

附录........................................................................................................................... 19