下载sklearn问题描述：No module named 'sklearn'解决方案：问题描述：No module named ‘sklearn’有时在做到部分数据文件读取的时候会用到shuffle这个方法，这时候就要用到sklearn。sklearn需要自行去下载解决方案：1.使用Anaconda下载打开Anaconda Prompt输入pip install sklearn使用jupyter

Anaconda简述：Anaconda就是可以便捷获取包且对包能够进行管理，同时对环境可以统一管理的发行版本。开源，安装方便，使用快捷。Anaconda安装前准备工作：1、一台虚拟机（Centos7）2、Anaconda3-2020.07-Linux-x86_64.sh（可到官网去下载）Anaconda安装操作步骤：1、使用xftp将Anaconda3-2020.07-Linux-x86_64.s

操作步骤：1、首先在IDEA中对编写好的程序进行打包点击Maven中的package，进行打包。等待一会。这样jar包就打包好了，我们进入到项目目录下去找一下jar包所在位置，将jar包通过Xftp传入到虚拟机中输入命令hadoop jar jar包名 主类名路径 /输入路径 /输出路径可以参考我下面这个命令hadoop jar hadoopStu-1.0-SNAPSHOT.jar cn/kgc/

Azkaban简述：Azkaban是一个任务调度系统，用于负责任务的调度和运行。Azkaban安装前准备工作：1、安装配置好MySql，如果不会安装可以跳转到Linux安装MySQL（保姆级教程）2、使用xftp将以下三个安装包上传到虚拟机中azkaban-db-3.84.4.tar.gzazkaban-exec-server-3.84.4.tar.gzazkaban-web-server-3.8

准备工作：两台虚拟机配置完成，可以ping通网络，且ip地址不一样。操作步骤：首先在第一台机器上输入：ssh-keygen -t rsa生成公钥和私钥图上箭头均为直接按下回车，不需要输入。接着输入命令：ssh-copy-id -i /root/.ssh/id_rsa.pub root@第二台机器主机号远程拷贝秘钥，第一次需要输入一次密码。到这里，第一台机器已经可以实现免密登录第二台机器了。输入命令

操作步骤：准备工作：一台虚拟机（Centos 7），虚拟机已安装好jdk。1、首先使用Xftp将hadoop-2.6.0-cdh5.14.2.tar.gz包放入 /opt/install文件夹下，install文件夹需要自己新建一下，参考命令mkdir install2、输入命令tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C ../soft -C用于指定目录，

zeppelin简单介绍：Zeppelin是一个基于Web的notebook，提供交互数据分析和可视化。支持多种数据引擎，如hive、spark等。还支持多种编程语言，如python、Scala等。zeppelin安装前的准备工作：1、虚拟机安装配置好jdk，如果不会安装可以跳转到脚本安装jdk保姆级教程2、虚拟机安装配置好Hadoop，如果不会配置安装可以跳转到Hadoop配置保姆级教程3、虚拟

准备工作：虚拟机打开，使用start-all.sh命令启动Hadoop。使用jps命令可以查看是否全部启动。打开IDEA，创建一个maven项目。在pom.xml里导入依赖，如下：<properties><project.build.sourceEncoding>UTF-8</project.build.sourceEncoding><maven.comp

Flink简述：Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink安装前准备工作：1、使用xftp将Flink安装包上传到虚拟机中flink-1.10.0-bin-scala_2.11.tgz可以去国内镜像下载，也可以去apache flink官网下载Flink安装操作步骤：1、解压缩文件tar -zxf flink-1.10.0-bin-scala_2.11.

操作步骤：准备工作：一台虚拟机（Centos 7），虚拟机已安装好jdk。1、首先使用Xftp将hadoop-2.6.0-cdh5.14.2.tar.gz包放入 /opt/install文件夹下，install文件夹需要自己新建一下，参考命令mkdir install2、输入命令tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C ../soft -C用于指定目录，