logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hive 三表full join

【代码】hive 三表full join。

文章图片
#hive
doris hdfs load与broker load参数对比

doris1.2 默认支持broker load。2.1 2.0默认支持hdfs load。broker load参数如下。hdfs load参数如下。建议用hdfs load。

文章图片
#大数据
doris 1064 - errCode = 2, detailMessage = Exceeded the maximum number of child expressions (10000).

doris 1064 - errCode = 2, detailMessage = Exceeded the maximum number of child expressions (10000).因为 where in (list) list太长 可以用多个or拼接

#sql
安装高可用3.4.2版apache hadoop集群

配置./etc/hadoop下的core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、workers。集群遇到故障需要重新格式化的时候 停止集群、删除 ./logs ./data下的内容再格式化。0、准备好jdk、免密登录、zk等前提环境。mapred-site.xml内容如下。core-site.xml内容如下。hdfs-site.x

文章图片
#hadoop#大数据
prometheus监控flink1.20(job数量和运行时长)

flink config.yaml增加如下配置。prometheus增加如下配置。显示每个job运行时长。根据job数配置告警。

文章图片
#prometheus#flink
安装高可用3.4.2版apache hadoop集群

配置./etc/hadoop下的core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、workers。集群遇到故障需要重新格式化的时候 停止集群、删除 ./logs ./data下的内容再格式化。0、准备好jdk、免密登录、zk等前提环境。mapred-site.xml内容如下。core-site.xml内容如下。hdfs-site.x

文章图片
#hadoop#大数据
seatunnel同步mongodb的json数据到hive

下载connector-hive-2.3.4.jar、connector-mongodb-2.3.4.jar到./connectors。一定要把sink的source_table_name 指定为transform的result_table_name。不要选高版本,高版本没有./bin/mongo目录 不能连接mongo。会把所有需要的connector都下载 一天别干别的了。配置执行引擎 spa

文章图片
#mongodb#hive#大数据
到底了