1、Azkaban 3.0 中文文档解压Azkaban部署包[atguigu@hadoop102 azkaban]$ ll总用量 12drwxr-xr-x. 2 atguigu atguigu 4096 4月18 2020 azkaban-db-3.84.4drwxr-xr-x. 6 atguigu atguigu 4096 4月18 2020 azkaban-exec-server-3.84.4

1、DBeaver连接HIVE查询实战1.1、HiveServer2的相关知识Hive架构之HiveServer2Prerequisites: Have Hive installed and setup to run on Hadoop cluster.HiveServer2 a.k.a HS2 is a second-generation Hive server that enables：① R

正常解压安装包[atguigu@hadoop102 software]$ tar -zxvf presto-server-0.196.tar.gz -C /opt/module/# 创建存储数据文件夹[atguigu@hadoop102 presto-server-0.196]$ mkdir data# 编写配置内存管理的文件夹[atguigu@hadoop102 presto-server-0.

正常解压安装包[atguigu@hadoop102 software]$ tar -zxvf presto-server-0.196.tar.gz -C /opt/module/# 创建存储数据文件夹[atguigu@hadoop102 presto-server-0.196]$ mkdir data# 编写配置内存管理的文件夹[atguigu@hadoop102 presto-server-0.

1、HIVE的计算引擎hive的引擎mapreduce、tez和spark三者比较hive sql执行方式对比（tez,mapreduce,spark,storm）TEZ和MapReduce区别Flink on Hive构建流批一体数仓MR引擎在HIVE 2中将被弃用，官方推荐使用TEZ或SPARK等引擎，在实际应用中如果使用TEZ或者SPARK计算时出现内存溢出的问题（TEZ和SPARK都是内存

JDBC连KyLinimport java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.ResultSet;public class TestKylin {public static void main(String[] args) throws Exc

前提： 准备好三台可以互相通信的虚拟机，虚拟机创建教程可以参考我的上一篇博客1、编写集群分发脚本rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。# scp-r$pdir/$fname$user@hadoop$host:$pdir/$fname# 命令递归要拷贝的文件路径/名称目的用户@主机:目的路径/名称scp -r

设置对象：物理机A、物理机B、虚拟机A、虚拟机B物理机A：虚拟机A：

1、Apache Flume初识【Flume】Flume 简单理解及使用实例Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume-og采用了多Master的方式。为了保证配置数据的一致性，Flume引入了Z

1、Spark与Flink对比1232、Spark Streaming保证Exactly-Once语义3、Kafka auto.offset.reset值详解4、从Lambda架构到Kappa架构再到？浅谈未来数仓架构设计~5、详解数仓中的数据分层：ODS、DWD、DWM、DWS、ADS