
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
开源项目:SQL API Gateway V1.2.0
让数仓 SQL 像 REST API 一样被治理——有审批、有鉴权、有限流、有熔断、有审计。如果你正在做 Doris / ClickHouse 对内服务化,又不想从零搭一套数据开放平台,这个项目可以作为开箱即用的起点。代码开源、文档齐全、CI 通过,欢迎 Star 和 Issue。相关链接如需转载,请注明出处与项目链接。
Hadoop Shuffle 流程详解:从 Map 到 Reduce 的数据流转(红色字体为个人经验补充,AI基础上做了修改和补充)
Shuffle 是 Hadoop MapReduce 框架中连接 Map 和 Reduce 阶段的关键过程。它负责将 Map 任务输出的中间结果进行分区、排序、合并,并传输给对应的 Reduce 任务。理解 Shuffle 流程对于优化 MapReduce 作业性能至关重要。输入:HDFS 数据块(InputSplit)处理输出:分区且排序的中间文件(每个 Map 一个)Hadoop Shuffl
开源项目:指标管理系统 sqldm 的设计与实践
本文介绍了开源轻量级指标管理系统 sqldm(SQL-Driven Metrics),旨在解决数仓成熟后业务指标分散、口径混乱等问题。该系统通过集中管理指标元数据和SQL模板,提供审批流程控制和统一API服务,降低维护成本。采用Java 21 + Spring Boot 3.2技术栈,支持PostgreSQL数据库和容器化部署,包含角色权限体系、指标元数据模型和审批流程等核心功能。项目已开源,提供
到底了







