问题描述：巨坑！！！！正常新建完成一个项目demo2代码和外部库都没有任何问题，跑起来测试的时候却失败了原因分析：java.lang.NoClassDefFoundError: com/google/common/collect/ImmutableMap这边可能存在着两个原因：第一就是maven的问题，第二就是项目结构添加库的问题。解决方案：首先检查项目结构添加库 有没有出现错误打开项目结构分别添

概述：spark-streaming-kafka-0-8_2.11 有两种方式连接Kafka，一种是Receiver，另一种是Direct。Receiver实现：def main(args: Array[String]): Unit = {//创建配置对象文件val conf: SparkConf = new SparkConf().setAppName("SparkStreaming_Demo0

前言：首先要运行官方示例要确保hadoop集群搭建完成，且已经启动（start-all.sh）。问题：显示失败，分析一下错误代码，full path of your hadoop distribution directory需要hadoop目录的满路经。它也提示了我们是在mapred-site.xml里修改。执行命令 hadoop classpath 查看路径然后进入到etc/hadoop 目录下

操作步骤：1、首先新建项目，选择新建Maven项目，从原型创建，选择图中的maven-archetype-webapp项目进行创建点击下一步，然后输入自己的项目名点击下一步点击完成，maven项目就算创建好了，但是要实现mybatis还需要几步。创建完成后的项目结构如下：首先在pom.xml文件里面添加如下依赖。分别是mysql，junit，mybatis等。<dependencies&gt

Anaconda简述：Anaconda就是可以便捷获取包且对包能够进行管理，同时对环境可以统一管理的发行版本。开源，安装方便，使用快捷。Anaconda安装前准备工作：1、一台虚拟机（Centos7）2、Anaconda3-2020.07-Linux-x86_64.sh（可到官网去下载）Anaconda安装操作步骤：1、使用xftp将Anaconda3-2020.07-Linux-x86_64.s

下载sklearn问题描述：No module named 'sklearn'解决方案：问题描述：No module named ‘sklearn’有时在做到部分数据文件读取的时候会用到shuffle这个方法，这时候就要用到sklearn。sklearn需要自行去下载解决方案：1.使用Anaconda下载打开Anaconda Prompt输入pip install sklearn使用jupyter

Anaconda简述：Anaconda就是可以便捷获取包且对包能够进行管理，同时对环境可以统一管理的发行版本。开源，安装方便，使用快捷。Anaconda安装前准备工作：1、一台虚拟机（Centos7）2、Anaconda3-2020.07-Linux-x86_64.sh（可到官网去下载）Anaconda安装操作步骤：1、使用xftp将Anaconda3-2020.07-Linux-x86_64.s

操作步骤：1、首先在IDEA中对编写好的程序进行打包点击Maven中的package，进行打包。等待一会。这样jar包就打包好了，我们进入到项目目录下去找一下jar包所在位置，将jar包通过Xftp传入到虚拟机中输入命令hadoop jar jar包名 主类名路径 /输入路径 /输出路径可以参考我下面这个命令hadoop jar hadoopStu-1.0-SNAPSHOT.jar cn/kgc/

Azkaban简述：Azkaban是一个任务调度系统，用于负责任务的调度和运行。Azkaban安装前准备工作：1、安装配置好MySql，如果不会安装可以跳转到Linux安装MySQL（保姆级教程）2、使用xftp将以下三个安装包上传到虚拟机中azkaban-db-3.84.4.tar.gzazkaban-exec-server-3.84.4.tar.gzazkaban-web-server-3.8

准备工作：两台虚拟机配置完成，可以ping通网络，且ip地址不一样。操作步骤：首先在第一台机器上输入：ssh-keygen -t rsa生成公钥和私钥图上箭头均为直接按下回车，不需要输入。接着输入命令：ssh-copy-id -i /root/.ssh/id_rsa.pub root@第二台机器主机号远程拷贝秘钥，第一次需要输入一次密码。到这里，第一台机器已经可以实现免密登录第二台机器了。输入命令