首先准备3台服务器hadoop11 hadoop12 hadoop13完成分布式的搭建hadoop11为namenode datanodehadoop12 hadoop13 为datanodejdk 以及 zookeeper集群搭建完成。

简介hive 是一个建立在Hadoop生态之上的数据仓库软件.主要目的和功能是: 让用户能够通过以类SQL语法的形式方便的读取,写入和管理存储在HDFS上的海量数据.可以理解为hive可以将sql 翻译成底层的MapReduce 或Spark任务 进行执行 大大提高了开发效率。

是一个分布式、高可靠、高可用的海量日志采集、聚合和传输系统，是大数据生态中经典的数据搬运工具Apache Flume.【李易峰】Flume Source 是 Agent 的数据入口，负责从外部系统接收数据、封装为统一 Event 并写入 Channel。按数据来源与传输方式，可分为网络协议、文件采集、系统命令、消息队列、测试生成五大类，以下是核心类型详解与选型建议。类型核心能力适用场景关键特性监听

摘要：Zookeeper是一个分布式协调服务框架，用于解决分布式系统的一致性问题。它采用类似Unix目录节点的树形结构存储少量数据，能监控服务器状态变化。Zookeeper集群由Leader、Follower和Observer组成：Leader处理写请求并决定事务顺序；Follower参与选举投票和事务表决；Observer仅处理读请求不参与投票，适合读多写少场景。其特点包括高可用性（半数节点存活

有序、可重复的集合，元素类型统一下标从0开始访问常用于存储列表、标签、多值属性key-value 结构，key 唯一、value 可重复适合存储动态属性、键值配置、多维度标签固定结构的 “对象”，包含多个不同类型字段用.字段名访问，清晰直观适合固定结构的嵌套对象，如地址、设备信息等复杂类型尽量不要多层嵌套（如 array<map<string,struct<...>>>），可读性极差且易出问题使用

5.

mvn xxx以后运行 main 类时，完全不经过 Maven，也就永远看不到这两行 **。下面给你 “永久解决” 的完整做法，一步到位。，永远不再输出那两行。

hive的安装分为三种模式 :内嵌模式(derby)、本地模式(mysql)、远程模式安装模式取决于hive元数据存放的存放位置内嵌模式:内嵌的 Derby 数据库（与 Hive 服务在内）（如 MySQL、PostgreSQL），通常与 Hive 装在同一台机器上（通常部署在独立的服务器或使用云数据库）