logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【第四节】docker应用系列篇: docker运行oracle容器

提示:以下是本篇文章正文内容,下面案例可供参考。

文章图片
#docker#oracle#容器
实践数据湖iceberg 第十七课 hadoop2.7,spark3 on yarn运行iceberg配置

系列文章目录实践数据湖iceberg 第一课 入门实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式实践数据湖iceberg 第三课 在sqlclient中,以sql方式从kafka读数据到iceberg实践数据湖iceberg 第四课 在sqlclient中,以sql方式从kafka读数据到iceberg(升级版本到flink1.12.7)实践数据湖iceberg 第

#yarn#spark
hadoop fs -count 返回的是目录树和文件数

文章目录测试hadoop fs -count 返回前2个数值的意思测试hadoop fs -count 返回前2个数值的意思[root@hadoop101 software]# hadoop fs -ls -R/tmp/testdrwxr-xr-x- root supergroup0 2022-03-09 11:11 /tmp/test/software-rw-r--r--2 root super

#hdfs
spark ui job和stage的dag图查看过去运行的任务,查不到,分析源码解决问题

项目场景:使用用2.x跑任务,产看耗时的spark job, stage,发现job和stage的dag信息缺失问题描述:sparkUI 显示dag信息缺失问题: 使用用2.x跑任务,查看spark 性能问题,从spark ui选择出最耗时的任务,进去查看,有一个任务有100多个job, 有几百个stage,程序跑完看前面 job和stage的dag图,提示没有了按照UI提示,提高这两个值,发现一

#spark
实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式

实践数据湖iceberg 第二课iceberg基于hadoop的底层数据格式提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录实践数据湖iceberg 第二课iceberg基于hadoop的底层数据格式前言1、hadoop catalog创建1.1 执行建立 catalog脚本1.2 查看hdfs 目录2.建表2.1 建表2.2 查看建表后的目录结构1.写入数据1.1 写入1

#hadoop#hdfs#big data
windows安装conda环境,开发openai应用准备,运行第一个ai程序

作者开发第一个openai应用的环境准备、第一个openai程序调用成功,做个记录,希望帮助新来的你。第一次能成功运行的openai程序,狠开心。

文章图片
#人工智能
实践数据湖iceberg 第二十五课 后台运行flink sql 增删改的效果

系列文章目录实践数据湖iceberg 第一课 入门实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式实践数据湖iceberg 第三课 在sqlclient中,以sql方式从kafka读数据到iceberg实践数据湖iceberg 第四课 在sqlclient中,以sql方式从kafka读数据到iceberg(升级版本到flink1.12.7)实践数据湖iceberg 第

#hadoop#hdfs#kafka
实践数据湖iceberg 第十四课 元数据合并(解决元数据随时间增加而元数据膨胀的问题)

系列文章目录实践数据湖iceberg 第一课 入门实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式实践数据湖iceberg 第三课 在sqlclient中,以sql方式从kafka读数据到iceberg实践数据湖iceberg 第四课 在sqlclient中,以sql方式从kafka读数据到iceberg(升级版本到flink1.12.7)实践数据湖iceberg 第

#flink
实践数据湖iceberg 第三课 在sqlclient中,以sql方式从kafka读数据到iceberg

实践数据湖iceberg 第三课 在sqlclient中,以sql方式从kafka读数据到iceberg在sqlclient中,以sql方式从kafka读数据到iceberg提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录实践数据湖iceberg 第三课 在sqlclient中,以sql方式从kafka读数据到iceberg环境说明1. 启动带hive和kafka功能的fl

#hadoop
实践数据湖iceberg 第六课 从kafka写入到iceberg失败问题 解决

实践数据湖iceberg 系列文章目录文章目录实践数据湖iceberg 系列文章目录前言1. 解决方案2. 重跑flink sql总结前言遇到的问题: 前面3节课,从kafka读数据写入到iceberg,不报错,就是没有数据写成功,多次查看官网https://iceberg.apache.org/#flink/, 没有解决方案。终极解决方案: 增加chepoint配置。没有checkpoint,就

#kafka#分布式#java
    共 17 条
  • 1
  • 2
  • 请选择