
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
Hive谓词下推:高效查询的核心技术
Hive谓词下推(PPD)是优化查询性能的关键技术,通过将过滤条件尽可能下推到执行计划底层,减少数据读取和处理量。它支持分区裁剪、存储层下推(ORC/Parquet格式)和算子层下推三种方式。优化要点包括:避免对列使用函数、合理利用分区字段、使用列式存储格式,并通过EXPLAIN命令验证下推效果。需注意外连接、UDF等场景可能限制下推效果。遵循SARGable原则和合理配置参数可显著提升查询效率。
Flink SQL 实战:解决流与流 + Paimon 维表混合 Join 的空指针异常
在基于 Flink 1.19 的实时数据处理中,当同时进行 "MySQL CDC 流与流 Join" 和 "流与 Paimon 维表 Join" 时,可能会遇到一个棘手的空指针异常(java.lang.NullPointerException),且错误日志指向 Flink 内部的RecordAttributesBuilder类。这种异常并非由关联字段为空导致,而是源于 Flink 对复杂 Join
到底了







