logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

优化 StarRocks INSERT INTO FILES 的内存超限问题

检查 _writer_stream_pairs 中是否已有该分区的写入器 (Writer) 和流 (Stream),如果当前写入器已写入的数据量超过 _max_file_size,则:调用 writer->commit() 提交当前文件,并触发 callback_on_commit,并从 _writer_stream_pairs 中移除该分区。创建新的写入器和流,初始化新写入器,写入当前数据块,更

#大数据
Paimon小文件问题分析和解决方案

Apache Paimon 是一种高性能的流批一体数据湖存储引擎,广泛用于实时和离线数据处理场景。Paimon 通过其表结构(如Append表和主键表)管理数据文件,并依赖HDFS的NameNode(NN)进行元数据的管理和文件操作(如create、delete、rename)。由于Paimon的高频写入、Checkpoint机制和分区更新特性,可能会在HDFS中生成大量小文件,导致NN的元数据请

#大数据
到底了