决定枚举网格搜索运算速度的因子一共有两个：①参数空间的大小（参数空间越大，需要建模的次数越多）；②数据量的大小（数据量越大，每次建模时需要的算力和时间越多）。sklearn中的网格搜索优化方法主要包括两类，其一是调整搜索空间，其二是调整每次训练的数据。对网格搜索而言，如果参数空间中的某一个点指向了损失函数真正的最小值，那枚举网格搜索时一定能够捕捉到该最小值以及对应的参数（相对的，假如参数空间中没有

数据预处理之缺失值处理（sklearn、pandas）

（1）使用更多的数据：导致过拟合的根本原因是训练集和测试集的特征存在较大差异，导致原本完美拟合的模型无法对新数据集产生良好的效果；过拟合通俗点讲就是在做分类训练时面模型由于过度学习了训练集的特征，使得训练集的准确率非常高，测试集的准确率却很差。：混淆矩阵是作分类算法效果评估的基本方法，它是监督式学习中的一种可视化工具，主要用于比较分类结果和实例的真实信息。（2）降维：通过维度选择或转换的方式，降低

包装法也是一个特征选择和算法训练同时进行的方法，与嵌入法类似，不同的是，包装法并不是自己输入某个评估指标或统计量的阈值。包装法在初始特征平台上训练评估器，并且通过coef_ 属性或feature_importances_属性获得每个特征的重要性。然后从当前的一组特征中修剪掉最不重要的特征，在修剪的集合上递归重复该过程，直到最终到达所需数量的要选择的特征。

PCA与特征选择的区别在于特征选择后的特征矩阵是可读的，而PCA降维之后的新特征向量是不可读的，PCA是将已存在的特征进行压缩，降维完毕后的特征不是原本特征矩阵中的任何一个特征，而是通过某些方式组合起来的新特征。我们无法判断新特征向量的特征是从原数据中的什么特征组合而来，新特征虽然带有原始数据的信息，却已经不是原数据上代表着的含义。在矩阵分解时，PCA在原有特征的基础上，找出能够让信息尽量聚集的新

YARN是一个分布式资源管理系统，采用主从架构（ResourceManager和NodeManager），支持多种计算框架（如MapReduce、Spark）。其高可用性通过ZooKeeper实现主备切换和元数据同步。YARN提供三种资源调度策略：FIFO（先进先出）、Capacity（预设队列资源比例）和Fair（动态公平分配）。Capacity调度器允许队列弹性使用空闲资源，而Fair调度器默

目录任务1 数据探索与清洗任务1.1 数据探索与预处理任务1.2 特征编码任务2 产品营销数据可视化分析任务2.1 任务2.2任务2.3任务2.4 任务3 客户流失因素可视化分析任务3.1任务3.2任务3.3任务3.4分别对短期客户产品购买数据“short-customer-data.csv”（简称短期数据）和长期客户资源信息数据的训练集“long-customer-train.csv”（简称长期

某公司生产一种可折叠的桌子，桌面呈圆形，桌腿随着铰链的活动可以平摊成一张平板（如图1-2所示）。桌腿由若干根木条组成，分成两组，每组各用一根钢筋将木条连接，钢筋两端分别固定在桌腿各组最外侧的两根木条上，并且沿木条有空槽以保证滑动的自由度（见图3）。桌子外形由直纹曲面构成，造型美观。附件视频展示了折叠桌的动态变化过程。

滚动交叉验证是在验证过程中不断增加训练集、并让验证集越来越靠近未来的验证方式。滑窗交叉验证就是使用窗内的样本作为训练集，窗右侧(或下方)的样本作为验证集而进行的交叉验证。通常来说，验证集上的分数最佳的模型过拟合风险往往最小，因为当一个模型学习能够足够强、且既不过拟合又不欠拟合的时候，模型的训练集和验证集分数应该是高度接近的，所以验证集分数越好，验证集的分数就越可能更接近训练集上的分数。在多个模型对

3）广义笛卡尔积：两个元数分别为m和n的关系R和S的广义笛卡尔积是一个(m+n)列的元组的集合。PS：三方联系和聚合的区别：三方联系必须要三方实体同时参与，而聚合是有先后顺序的，两个实体先产生联系，再与第三个实体产生联系。也称存储模式，是数据物理结构和存储方式的描述，是数据在数据库内部的表示方式。Y，那么对于任意两个相同的X，所对应的Y一定是相同的。是数据库中全部数据的逻辑结构和特征的描述，只设计