logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

docker构建hadoop镜像并运行

单机版hadoop使用docker构建及运行一、环境:组件信息组件版本CentOS7.9.2009java1.8.0_161hadoop3.1.3docker20.10.8服务配置机器服务node1datanodenode1namenodenode1resourcemanagernode1nodemanagernode1secondrynamenode二、准备镜像使用最新版本的centOS.doc

#docker#hadoop
Clickhouse集成离线hive、实时kafka数据实操

Clickhouse集成hive一、官网介绍:1、clickhouse集成hive官网介绍:2、clickhouse支持的数据类型:二、创建对应hive的clickhouse表1、利用clickhouse的HDFS Engine建表语句二、建表需要注意的地方(详细解析)1、schema必须要与hive表中一致2、格式要求3、路径解析4、hdfs路径三、我担心hive数据更新后不能同步过来,继续在做

#大数据#hive#数据仓库 +2
flink中间结果写入hdfs并构建hive分区表

flink中间结果写HDFS项目中遇到一个应用场景需要将flink计算的中间结果写入到hdfs中提示:正常的kafka数据还是用flume同步至hdfs吧,用flink写hdfs会有很多问题文章目录flink中间结果写HDFS一、pandas是什么?二、使用步骤1.代码修改1)、写入本地文件中2)、写入至hdfs中2.flink写hdfs目前存在的问题总结一、pandas是什么?流数据写入到hdf

#hive#大数据#hdfs
OLAP组件选型

OLAP组件选型一、OLAP简介1、olap准则2、OLAP场景的关键特征3、与oltp比较二、开源引擎1、Hive2、spark SQL3、presto4、kylin5、impala6、druid7、Greeplum8、clickhouse三、选型要求1、实时性要求较高,对接kafka,实时查询数据2、可以接入hive数据3、单表查询数据较多,较少的join,在数仓中完成宽表构建一、OLAP简介

#大数据
到底了