一.描述使用包括交叉验证在内的各种评估工具，如模型选择子模块model_selection中的cross_val_score和GridSearchCV等交叉验证的原理最常用的是K折交叉验证，就是将样本等分为k份，每次用其中的k-1份作训练集，剩余1份作测试集，训练k次，返回每次的验证结果。二.描述from sklearn.datasets import load_wineX, y = load_w

一、概述Junit是一个Java语言的单元测试框架，属于白盒测试，简单理解为可以用于取代java的main方法。Junit属于第三方工具，需要导入jar包后使用二、Junit的使用编写测试类，简单理解Junit可以用于取代java的main方法在测试类方法上添加注解@Test@Test修饰的方法要求：public void 方法名(){…},方法名自定义建议test开头，没有参数添加Junit库到

一、错误截图二、错误原因没有开启yarn服务导致Hadoop集群中没有Resourcemanager和Nodemanager服务三、正确操作# 开启yarn服务start-yarn.sh

一.历史上的四次产业革命蒸汽时代时间：1760s - 1840s国家：英国动力：热力电气时代时间：1860s - 1920s国家：欧美动力：电力信息时代时间：1940s - 2010s国家：美国动力：计算机、通信智能时代时间：~~~国家：~~~动力：云、大、物、智二.从数据管理走向数据运营数据驱动体验数据驱动决策数据驱动流程三.什么是大数据大数据定义:大数据是指利用常用软件工具捕获、管理和处理数据

一、什么是数仓建模定义：数仓建模指的就是如何构建表的操作二、常见的建模方式三范式建模以业务为导向的，要求在建表的时候，表应该是有一个主键的，在建表的时候，尽可能避免数据的冗余情况发生维度建模法以分析为导向的，构建表的时候，要求能够满足分析的要求，设计的时候，能够让目标分析更加简单，建模越加合理，在利于分析的要求下，允许数据出现一定的冗余三、维度建模中的两种表模型事实表指的分析主题所有对应的表，或者

一、错误原因由于多次格式化NameNode，导致DataNode和NameNode之间的id不一致二、解决办法删除hadoop中的logs文件夹rm -rf /export/server/hadoop-3.3.0/logs

ODS层：临时存储数据运营层将来自不同数据源的数据（各种操作型数据库、外部数据源等）通过ETL过程汇聚整合成面向主题的、集成的、企业全局的、一直的数据集合。从数据粒度上来说ODS层的数据粒度是最细的。DW层：数据仓库层作为数据仓库层，DW层的数据应该是一致的、准确的、干净的数据，即对源系统数据进行了清洗后的数据。其数据粒度通常和ODS的粒度相同。DM层：数据集市层作为数据集市层，这层数据是面向主题

大数据与机器学习的关系在通常情况下，大数据技术与机器学习是互相促进、相依相存的关系机器学习不仅需要合理、适用和先进的算法，还需要依赖足够好和足够多的数据。大数据可以提高机器学习模型的精确性。数据的数据量越多，质量越高，机器学习的效率和准确性就越高。机器学习是大数据分析的一个重要方向（方式）。...

Scikit-learn的官方文档一.Scikit-learn的功能分类分类回归聚类数据降维模型选择数据预处理二.Scikit-learn的子模块linear_model：线性模型子模块cluster：聚类子模块neighbors：近邻算法子模块discriminant_analysix：线性和二次判别分析子模块kernel_ridge：内核岭回归子模块svm：支持向量机子模块gaussian_p

一、维度介绍：指的是在分析一个问题的时候，可以从不同角度来看待，而这些角度就是维度，角度不同决定了维度不同维度的分类定性维度：一般指的求 “每个” “各个” 等相关维度在SQL上表示：一般都是放置group by中定量维度：一般表示区间范围或者具体的值SQL上表示：一般是放置在where中维度的分层和分级：在根据某一个维度进行统计的时候，可以对这个维度进行细化分层统计例如按照时间统计：可以细化 年