1.实验目的（1）掌握使用Spark访问本地文件和HDFS文件的方法（2）掌握Spark应用程序的编写、编译和运行方法2.实验平台（1）操作系统：Ubuntu18.04（或Ubuntu16.04）；（2）Spark版本：2.4.0；（3）Hadoop版本：3.1.3。3.实验步骤（1）Spark读取文件系统的数据1.在spark-shell中读取Linux系统本地文件“/home/hadoop/t

1.实验目的（1）通过实验掌握基本的MapReduce编程方法；（2）掌握用MapReduce解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。2.实验平台（1）操作系统：Linux（建议Ubuntu16.04或Ubuntu18.04）（2）Hadoop版本：3.1.33.实验步骤（一）编程实现文件合并和去重操作对于两个输入文件，即文件A和文件B，请编写MapReduce程序，对两个

记2022上半年hive学习1. Linux Ubuntu 20.042. JDK1.83. Hadoop3.1.04. MySQL8.0.285. Hive3.1.2

实验4NoSQL和关系数据库的操作比较1.实验目的（1）理解四种数据库(MySQL、HBase、Redis和MongoDB)的概念以及不同点；（2）熟练使用四种数据库操作常用的Shell命令；（3）熟悉四种数据库操作常用的Java API。2.实验平台（1）操作系统：Linux（建议Ubuntu16.04或Ubuntu18.04）；（2）Hadoop版本：3.1.3；（3）MySQL版本：5.6；