您可以使用-m或–num-mappers参数指定用于执行导入的map任务(并行进程)的数量。从数据库中检索分割列的高值和低值，map任务操作整个范围的大小均匀的组件。但是当一个表没有主键时,上面的切分就无法进行,Sqoop导入时就会出错,这时候可以通过-m把mapper的数量设为1,只有一个Mapper在运行,这时候就不需要切分,也可以避免主键不存在时候报错的问题.找出id的范围,然后把4个任务的

Hadoop本身对Windows的支持并不友好，如果需要完整使用，需要将winutils.exe和hadoop.dll两个文件移动到%HADOOP_HOME%\bin目录。网盘地址链接： https://pan.baidu.com/s/16gbrHGV0zxYBxCNK6L1xlw?添加winutils.exe和hadoop.dll。修改hadoop-env.cmd。

例如: Hive的底层会把HQL语句翻译成MapReduce的程序执行，我们可以创建一个hive队列，将这个队列的容量设置的大一些。该调度器内单个队列的调度策略为FIFO，因此在单个队列中的任务并行度为1。那么就会出现单个任务阻塞的情况，如果随着业务的增长，充分的利用到集群的使用率，我们就需要手动的配置多条任务队列。YARN默认将任务提交到default队列，我们如果需要提交到其他的队列中，可以使

我们在YARN上运行MapReduce的程序的时候，可以在控制台上看到任务的日志输出，以获取到任务的运行状态。同时，YARN也会将日志写在本地的**$HADOOP_HOMOE/logs/userlogs**文件夹中，我们可以到文件夹中进行日志的查看。但是这个文件夹中的内容，会随着YARN的重启而被删除掉。那么此时我们将如何查看日志？此时就需要开启Hadoop的历史日志服务了，Hadoop会将Map

需求+测试数据有如下订单数据订单id商品id成交金额Pdt_01222.8Pdt_0525.8Pdt_03522.8Pdt_04122.4Pdt_05722.4Pdt_01222.8现在需要求出每一个订单中成交金额最大的一笔交易分析a) 利用“订单id和成交金额”作为key，可以将map阶段读取到的所有订单数据按照id分区，按照金额排序，发送到reduceb) 在reduce端利用grouping

​Superset快速，轻巧，直观，并带有各种选项，使各种技能的用户都可以轻松浏览和可视化其数据，从简单的折线图到高度详细的地理空间图。

VMWare是一个虚拟PC的软件，可以在现有的操作系统上虚拟出一个新的硬件环境，相当于模拟出一台新的PC，以此来实现在一台机器上真正同时运行两个独立的操作系统。1 不需要分区或重新开机就能在同一台PC上使用两种以上的操作系统2 本机系统可以与虚拟机系统网络通信3 可以设定并且随时修改虚拟机操作系统的硬件环境。

​负载均衡Sink 选择器提供了在多个sink上进行负载均衡流量的功能。它维护一个活动sink列表的索引来实现负载的分配。flume的自动容灾指的是当某一个channel或者sink挡掉后，由其他的sink来接收数据。flume的负载均衡指的是多个channel处理的event的数量尽可能的相同。）两种选择机制分配负载。2）下游的qianfeng02上的方案。3）下游的qianfeng03上的方案

即数据定义语言，是 SQL 语言的一个子集，用于定义数据库中的结构和约束。DDL 中常用的语句包括 CREATE、ALTER、DROP、TRUNCATE 等。