简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
提示:以下是本篇文章正文内容,下面案例可供参考。
系列文章目录实践数据湖iceberg 第一课 入门实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式实践数据湖iceberg 第三课 在sqlclient中,以sql方式从kafka读数据到iceberg实践数据湖iceberg 第四课 在sqlclient中,以sql方式从kafka读数据到iceberg(升级版本到flink1.12.7)实践数据湖iceberg 第
文章目录测试hadoop fs -count 返回前2个数值的意思测试hadoop fs -count 返回前2个数值的意思[root@hadoop101 software]# hadoop fs -ls -R/tmp/testdrwxr-xr-x- root supergroup0 2022-03-09 11:11 /tmp/test/software-rw-r--r--2 root super
项目场景:使用用2.x跑任务,产看耗时的spark job, stage,发现job和stage的dag信息缺失问题描述:sparkUI 显示dag信息缺失问题: 使用用2.x跑任务,查看spark 性能问题,从spark ui选择出最耗时的任务,进去查看,有一个任务有100多个job, 有几百个stage,程序跑完看前面 job和stage的dag图,提示没有了按照UI提示,提高这两个值,发现一
实践数据湖iceberg 第二课iceberg基于hadoop的底层数据格式提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录实践数据湖iceberg 第二课iceberg基于hadoop的底层数据格式前言1、hadoop catalog创建1.1 执行建立 catalog脚本1.2 查看hdfs 目录2.建表2.1 建表2.2 查看建表后的目录结构1.写入数据1.1 写入1
作者开发第一个openai应用的环境准备、第一个openai程序调用成功,做个记录,希望帮助新来的你。第一次能成功运行的openai程序,狠开心。
系列文章目录实践数据湖iceberg 第一课 入门实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式实践数据湖iceberg 第三课 在sqlclient中,以sql方式从kafka读数据到iceberg实践数据湖iceberg 第四课 在sqlclient中,以sql方式从kafka读数据到iceberg(升级版本到flink1.12.7)实践数据湖iceberg 第
系列文章目录实践数据湖iceberg 第一课 入门实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式实践数据湖iceberg 第三课 在sqlclient中,以sql方式从kafka读数据到iceberg实践数据湖iceberg 第四课 在sqlclient中,以sql方式从kafka读数据到iceberg(升级版本到flink1.12.7)实践数据湖iceberg 第
实践数据湖iceberg 第三课 在sqlclient中,以sql方式从kafka读数据到iceberg在sqlclient中,以sql方式从kafka读数据到iceberg提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录实践数据湖iceberg 第三课 在sqlclient中,以sql方式从kafka读数据到iceberg环境说明1. 启动带hive和kafka功能的fl
实践数据湖iceberg 系列文章目录文章目录实践数据湖iceberg 系列文章目录前言1. 解决方案2. 重跑flink sql总结前言遇到的问题: 前面3节课,从kafka读数据写入到iceberg,不报错,就是没有数据写成功,多次查看官网https://iceberg.apache.org/#flink/, 没有解决方案。终极解决方案: 增加chepoint配置。没有checkpoint,就