logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

使用docker build自制flink镜像供k8s使用

上文中用到的docker-entrypoint.sh、gettext-base_0.21-4_amd64.deb、gosu-amd64、gosu-amd64.asc和libjemalloc-dev_5.2.1-3_amd64.deb文件先下载到本地。链接:https://pan.baidu.com/s/1ItGu2Sh3nigtwvRAeGGUHQ?链接:https://pan.baidu.com

文章图片
#docker#flink#kubernetes
使用docker build自制flink镜像供k8s使用

上文中用到的docker-entrypoint.sh、gettext-base_0.21-4_amd64.deb、gosu-amd64、gosu-amd64.asc和libjemalloc-dev_5.2.1-3_amd64.deb文件先下载到本地。链接:https://pan.baidu.com/s/1ItGu2Sh3nigtwvRAeGGUHQ?链接:https://pan.baidu.com

文章图片
#docker#flink#kubernetes
大数据面试题之Greenplum(2)

大数据面试题之Greenplum(2)

文章图片
#大数据
大数据面试题之Flink(3)

大数据面试题之Flink(3)

文章图片
#大数据#flink
大数据面试题之MapReduce(3)

大数据面试题之MapReduce(3)

文章图片
#大数据#mapreduce
大数据面试题之MapReduce(1)

大数据面试题之MapReduce(1)

文章图片
#大数据#mapreduce
排查Flink状态膨胀导致Checkpoint超时的问题

摘要:生产环境中Flink处理设备状态持续时间的任务出现性能问题,当数据量增至8000+/秒时,状态计算算子频繁超时。经排查发现MapState存储冗余历史时间戳导致单个TaskManager状态达2G。优化方案:1)重构状态结构,用ValueState仅存储当前状态和开始时间;2)设置24小时TTL;3)调整RocksDB参数。优化后状态量从每台设备上千时间戳降至1个对象,问题得以解决。

文章图片
#flink#大数据
Java开发(数据方向)面试复盘|踩坑实录

本次面试整体偏向Java底层原理+业务落地,项目实战部分发挥正常,但Java并发底层基础严重不牢,多处概念模糊、关键点答不全,暴露了长期只写业务、疏于底层原理梳理的问题。混淆 JMM(并发模型:可见性、有序性、原子性、volatile、内存屏障) 和 JVM内存划分,属于基础概念完全错位,底层知识不扎实。5+年Java开发经验,近3年深耕数据方向开发,主要做物联网实时数据处理、数仓建设、数据清洗等

#面试#大数据#java
    共 13 条
  • 1
  • 2
  • 请选择