前言CLK虽然底层提供了自身状态的运行记录并记录到系统表中**(SYSTEM.*)**,但是对于运维人员来说,每次去查看这些数据会比较麻烦,现在 Prometheus + Grafana 的组合比较流行,达到监控+可视化的目的安装Prometheus上传并解压修改配置文件,一定要和文件中的格式保持一致(哪怕是空格也要保持一致)后台启动nohup ./prometheus --config.file

CLK的配置项主要在 config.xml 或 users.xml 中, 基本上都在 users.xml 里,找到后直接修改即可CPU资源内存资源

单表优化PreWhere代替WherePreWhere和Where的效果/语法都是一致的,都是用来过滤数据但是PreWhere仅仅支持表引擎为*MergeTreePreWhere的性能是Where的数十倍之多,CLK内部默认开启了优化操作,就算写的是Where,底层也会优化成PreWhere,不过官方还是建议尽量多的使用PreWhere需要主要注意的是,PreWhere也会有失效的情况如下图所示:

一致性CLK有个比较致命的缺点就是数据一致性的问题,CLK仅仅只能保证数据的最终一致性比如CLK的去重MT所以在使用CLK的时候,肯定也一定会出现短暂的数据不一致的情况解决方法:手动OPTIMIZE在表数据插入进来的时候,立马执行OPTIMIZE强制触发CLK的合并动作,这种方式虽然可以解决,但是对下游的影响往往是非常大的,除非这张表只有你一个人在使用,否则不建议这样做GROUP BY + 视图众

ReplacingMergeTreeReplacingMergeTree是MergeTree子集,是MergeTree的一个变种,与MergeTree几乎无差别,仅仅比MergeTree多了一个去重的功能需要注意的是:数据去重的时间是未知且无法把控的数据的去重是在合并过程中操作的数据的去重只能在分区内,无法跨分区ReplacingMergeTree无法保证数据完全没有重复举个例子:以创建时间为去重

常用的只有KafkaSource,其他做知识扩展,了解下即可~1.集合数据源一般用于做TestDemo的时候// 创建执行环境StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();env.setParallelism(1);// 从集合中读取数据DataStream<Sens