英文名：EMPNO,ENAME,JOB,MGR,HIREDATE,SAL,BONUS,DEPTNO。8． 列出在部门“SALES”（销售部）工作的员工的姓名，假定不知道销售部的部门编号。字段：员工id,员工名字,工作岗位,部门经理,受雇日期,薪水,奖金,部门编号。5． 列出部门名称和这些部门的员工信息，同时列出那些没有员工的部门。3． 列出所有员工的姓名及其直接上级的姓名。2． 列出薪金比“SMI

map 是一种(key-value)键值对类型；array 是一种数组类型，array 中存放相同类型的数据；struct 是一种集合类型。二、建表语句查看表结构再重启一个master进程，输入一下内容（中间使用tab键）分隔符要与建表语句一致，如此表指定每列字段之间用tab分割，数据之间用“|”分隔，map的key与value之间用冒号“:”分隔，回车换行将数据载入表中查看三种类型的数据三、类型

在/opt/datas目录下准备数据，创建test.txt文件并添加数据：编辑vim test.txt 文件，将下列内容输入到文件中（注意：中间的空格是Tab，上下不可以有空行）

上传到/opt/software/下。

三台机子同时进行：jps。出现以上图案即启动成功。

存储多个元组，每个元组表示一个人的信息（姓名、性别、年龄）。注意：数组末尾不能有多余的逗号（否则会报错）。创建了一个包含不同类型元素的元组。将列表转换为 DataFrame。等字段的 DataFrame。读取后自动推断结构，生成包含。通过下标访问数组元素，如。读取本地 JSON 文件。等方式访问元组中的元素。

摘要：本文介绍了Spark SQL常用操作函数，包括数据查看(show)、结构查看(printSchema)、文件读取(read)以及数据筛选(where)、统计(count)等核心功能。通过图书和学生信息两个案例，演示了如何实现条件查询、字段选择、数据排序等操作。重点讲解了CSV和JSON文件的读取方式，以及如何组合使用select、where、orderBy等函数完成复杂查询任务，如筛选特定评

（1）将表answer7_A中的type字段进行裂变，将结果保存到表answer8_A中。（2）表answer7_A按照电影类型中是否包含Comedy和按照评分≥4.0作为Where过滤条件，按照评分作为排序条件进行查询，将结果保存到表answer7_B中。lcase函数把字段的值转换为小写。12.统计最喜欢看电影（影评次数最多）的那位女性评分最高的10部电影的平均影评分（观影者、电影名、影评分）

1．创建存储格式为TextFile的观看历史表text_see和用户信息表text_user（用于存储原始数据）。并创建存储格式为ORC的表orc_see和orc_user。12.对orc_see表按照用户Group By聚合，然后统计组内的时长即可。3.用户信息文件userevents.txt存储在本地系统/opt/datas目录下，将其导入表text_user中。5.将表text_user中数

分区------处理海量数据根据数据文件结构考虑分门别类保存（大化小），使用分区，创建分区表，提高查询效率指定分区字段，分区字段被称为伪列。数据文件中没有和分区字段对应的数据分区可以分为一级分区（分区字段是一个字段），二级分区（分区字段是二个）。。。。。。分区可以是静态分区（导入数据时 ，指定分区字段的值）动态分区（导入数据时，不需要指定分区字段的值，由系统根据数据文件的情况自行判断）。