logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

记录一次Clickhouse千万级甚至亿级别数据批量插入排查优化

摘要:针对ClickHouse批量插入数据性能低下的问题,通过分析发现JdbcParameterizedQuery.parse方法循环解析SQL导致性能瓶颈。优化方案采用原生JDBC预编译SQL方式,实现高效批量插入。测试结果显示,优化后单次插入10万条数据仅需0.5秒,50万条仅2秒,千万级数据插入时间从几十小时缩短至200-300秒。文章详细介绍了优化过程,包括参数调整和核心代码实现(提供两种

文章图片
#clickhouse
到底了