在这里我也将hadoop用户密码设置为hadoop，虽然会提示密码不能少于8位，但是不用管这个提示，我们也将密码设置为hadoop就可以了。修改./conf/spark-env.sh配置文件（需要使用cp复制模板文件再进行修改）为hadoop用户添加使用sudo权限的权限（不然hadoop用户不能使用sudo）在终端输入下面命令，创建hadoop用户，并指定shell为/bin/bash。修改解压

在HDFS中的“/user/hadoop”目录下，创建子目录input，把HDFS中“/user/hadoop”目录下的test.txt文件，复制到“/user/hadoop/input”目录下；删除HDFS中“/user/hadoop”目录下的test.txt文件，删除HDFS中“/user/hadoop”目录下的input子目录及其子目录下的所有内容。把HDFS中“/user/hadoop”目

以自己学号（your student number）为第一条数据，生成20条数据（后面数据your student number依次递增1，name和age随机），详细格式如下。配置Spark通过JDBC连接数据库MySQL，编程实现利用DataFrame插入如表5-2所示的10行数据到MySQL中（学号递增，其他字段随机），最后打印出age的平均值。读取文件处理为RDD，接着转换为DataFra

自从发现docke里面能拉MySQL后，就特别喜欢用docker里面的MySQL了，但是今天发现docker拉的MySQL使用的时区是UTC，和我们差了八个小时，我这种强迫症肯定不能忍啊，于是就开启了改时区之路。我们打算修改回来配置文件，结果发现进不去了，如下，必须要启动才能修改配置文件，但是启动不了，启动不了就是因为配置文件错误哦。下面是centos虚拟机查看时区的截图，Local time是C