文章目录1 Flume 概述1.1 Flume 定义1.2 Flume 基础架构1.2.1 Agent1.2.2 Source1.2.3 Sink1.2.4 Channel1.2.5 Event2 Flume 快速入门2.1 Flume 安装部署2.1.1 安装地址2.1.2 安装部署2.2 Flume 入门案例2.2.1 监控端口数据官方案例2.2.2 实时监控单个追加文件2.3.3 实时监控目

文章目录1 DDL 数据定义1.1 创建数据库1.2 查询数据库1.3 修改数据库1.4 删除数据库1.5 创建表1.5.1 管理表1.5.2 外部表1.5.3 管理表与外部表的互相转换1.6 修改表1.7 删除表2 DML 数据操作2.1 数据导入2.2 数据导出1 DDL 数据定义1.1 创建数据库CREATE DATABASE [IF NOT EXISTS] database_name[CO

文章目录1 Flume 概述1.1 Flume 定义1.2 Flume 基础架构1.2 Fetch 抓取1.3 本地模式1.4 表的优化1.4.1 小表大表Join（MapJOIN）1.4.2 大表 Join 大表1.4.3 Group By1.4.4 Count(Distinct) 去重统计1.4.5 笛卡尔积1.4.6 行列过滤1.5 合理设置 Map及 Reduce数1.5.1 复杂文件增加

文章目录1 HBase 简介1.1 HBase 定义1.2 HBase 数据模型1.2.1 HBase 逻辑结构1.2.2 HBase 物理存储结构1.2.3 数据模型1.3 HBase 基本架构2 HBase 快速入门1.2.3 自定义存储 offset1.3 自定义 Interceptor1.3.1 拦截器原理1.3.2 拦截器案例2 Kafka 监控2.1 Kafka Eagle3 Flum

文章目录1 企业级调优1.1 执行计划（Explain）1.2 常用内置函数1.2.1 空字段赋值1.2.2 CASE WHEN THEN ELSE END1.2.3 行转列1.2.4 列转行1.2.5 窗口函数（开窗函数）1.2.6 Rank1.3 自定义函数1.4 自定义 UDF函数1.5 自定义 UDTF 函数2 压缩和存储2.1 Hadoop 压缩配置2.2 开启 Map 输出阶段压缩（M

文章目录1 Hadoop 概述1.1 Hadoop 是什么1.2 Hadoop 优势1.3 Hadoop 组成1.3.1 HDFS 架构概述2 组管理和权限管理2.1 组管理2.2 权限管理3 任务调度1 Hadoop 概述1.1 Hadoop 是什么（1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构（2）主要解决海量数据的存储和海量数据的分析计算问题（3）广义上来说，Hado

文章目录1 HDFS 概述1.1 HDFS 产生背景及定义1.2 HDFS 优缺点1.3 HDFS 组成架构1.4 HDFS 文件块大小（面试重点）2 HDFS 的 Shell操作（开发重点）2.1 基本语法2.2 命令大全2.3 常用命令实操3 HDFS 的 API操作3.1 客户端环境准备1.3.6 推荐系统框架图2 Hadoop 运行环境搭建（开发重点）2.1 模板虚拟机环境准备2.2 克隆

文章目录1 HBase 简介1.1 HBase 定义1.2 HBase 数据模型1.2.1 HBase 逻辑结构1.2.2 HBase 物理存储结构1.2.3 数据模型1.3 HBase 基本架构2 HBase 快速入门1.2.3 自定义存储 offset1.3 自定义 Interceptor1.3.1 拦截器原理1.3.2 拦截器案例2 Kafka 监控2.1 Kafka Eagle3 Flum

文章目录1 Hadoop 概述1.1 Hadoop 是什么1.2 Hadoop 优势1.3 Hadoop 组成1.3.1 HDFS 架构概述2 组管理和权限管理2.1 组管理2.2 权限管理3 任务调度1 Hadoop 概述1.1 Hadoop 是什么（1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构（2）主要解决海量数据的存储和海量数据的分析计算问题（3）广义上来说，Hado