logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

HDFS I/O瓶颈定位及优化

定位HDFS I/O瓶颈的核心在于‌区分是“硬瓶颈”(磁盘/网络物理极限)还是“软瓶颈”(配置/架构不合理)‌。先用iostat和TestDFSIO确定是磁盘慢还是整体吞吐低。若磁盘忙,优化RAID、更换SSD或均衡数据分布。若磁盘不忙但吞吐低,优化TCP参数、增加Handler线程数或开启短路读。若NameNode响应慢,治理小文件或扩容NameNode内存。

#hdfs#hadoop#大数据
flink taskmanager 内存模型及内存调优案例

优先配置 Process Size‌:在 K8s/YARN 环境下,直接设置,让 Flink 自动计算内部各部分内存,避免手动配置冲突。‌预留安全余量‌:容器环境的内存限制应比略大(或依靠 Flink 自身的 Overhead 机制),防止因瞬时峰值被系统 Kill。‌监控驱动调优‌:利用 Flink Web UI 的 ‌Metrics‌ 标签页,重点关注以及。开启 GC 日志 (),分析 GC

#flink#大数据
java版 flink aggregate函数应用小程序【纯干货】

"4000,d",// 迟到数据,第4秒的数据在第5秒之后到达。"5000,e",// 第5秒 (跳过第4秒)"14000,n",// 第14秒。"15000,o",// 第15秒。"16000,p",// 第16秒。"17000,q",// 第17秒。"18000,r",// 第18秒。"19000,s",// 第19秒。"11000,k",// 第11秒。"13000,m",// 第13秒。

#flink#大数据
java版Flink关联查询小程序【纯干货】

DataStreamSource<Tuple3<String, String, String>> ds1= env.fromElements(Tuple3.of("1001","张三","男"),Tuple3.of("1002","李四","女"),Tuple3.of("1003","王五","女"));在 Flink 中实现关联查询(Join Operation),尤其是在处理实时数据流时,是非

#wpf
java 版flink模拟生成订单数据写入kafka小程序【纯干货】

/ 生成一个随机整数,范围从0(包含)到100(不包含)// 订单下单时间戳(当前时间)// 计算时间差(以毫秒为单位)* flink 模拟生成订单数据,发生至kafka中,并验证。// 创建自定义Source生成订单数据。// 获取第二个时间点。// 将时间差转换为秒。// 每秒生成一个订单。// 自定义Source生成订单数据。

#java#flink#kafka
hadoop配置文件详解-hdfs-site.xml篇【纯干货】

当dfs.datanode.fsdataset.volume.choosing.policy属性设置为org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy时使用。例如dfs.namenode.handler.count属性值为100,并且dfs.namenode.lifeline.ha

#hadoop#hdfs#xml
到底了