logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Docker 部署clickhouse

【代码】Docker 部署clickhouse。

文章图片
#docker#clickhouse#服务器
hive企业级调优策略之如何用Explain查看执行计划

Explain呈现的执行计划,由一系列Stage组成,这一系列Stage具有依赖关系,每个Stage对应一个MapReduce Job,或者一个文件系统操作等。

文章图片
#hive#hadoop#数据仓库
hive常用SQL函数及案例

Hive会将常用的逻辑封装成函数给用户进行使用,类似于Java中的函数。好处:避免用户反复写逻辑,可以直接拿来使用。重点:用户需要知道函数叫什么,能做什么。Hive提供了大量的内置函数,按照其特点可大致分为如下几类:单行函数、聚合函数、炸裂函数、窗口函数。以下命令可用于查询所有内置函数的相关信息。

文章图片
#hive#sql#hadoop
docker搭建hbase环境

第三步:访问页面,16010端口是hbase提供的webui界面暴露的端口,映射为了32770,我们可以通过虚拟机地址,以及这个端口访问hbase webui。

文章图片
#hbase#docker#大数据
Spark解析JSON字符串

【代码】Spark解析JSON字符串。

#spark#json#大数据
hadoop下mapreduce运行时卡在 Running Job不动的解决办法

在安装好Hadoop集群后,运行mapreduc。到如下的地方就卡住,要不到图二卡住,namenode和datanode,nodemanager,recemanager都启动正常,刚开始以为是hadoop3.2.3的版本问题。后来换成hadoop3.1.3还是不行。解决方案:方法1.在mapred-site.xml文件将<property><name>mapreduce.f

#hadoop#mapreduce#hdfs
flink写入DataHub(DatahubSinkFunction的使用方法)

import com.alibaba.ververica.connectors.datahub.sink.DatahubSinkFunction;import com.aliyun.datahub.client.model.*;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.strea

#flink#apache#阿里云
FlinkAPI开发之数据合流

在实际应用中,我们经常会遇到来源不同的多条流,需要将它们的数据进行联合处理。所以Flink中合流的操作会更加普遍,对应的API也更加丰富。

文章图片
#flink#java#大数据
到底了