1.Flink特点Flink是基于事件驱动的（Event-driven）事件可以理解为消息。事件驱动的应用程序是一种状态应用程序，它会从一个或者多个流中注入事件，通过触发计算更新状态，或外部动作对注入的事件作出反应Flink是基于流处理的,也就是说,在Flink中,一切都是流形式,离线数据被称为有界流,实时数据被称为无界流Flink最强悍的一点其实就是万物皆流离线就是有开头有结尾的流式数据,实时就

hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行UDF 一进一出UDAF 多进一出UDTF 一进多出4.hive HQL执行顺序?解释器->编译器->优化器->执行器5.hive内部表和

本篇文章主要聊一下CLK中的表级别优化操作时间字段的类型CLK与HIVE两者虽然都是用天来进行分区规则,但是不同的点就是,HIVE的日期字段是STRING,CLK的官方建议是时间戳字段直接使用DATATIME或者是Long类型的(INT32)如果使用STRING也不是不可以,CLK底层也会将STRING给转化成LONG(INT32)去存储,或多或少会影响点性能create table t_type

ClickHouse简述1.ClickHouse是个列式存储数据库,与之对应的组件是HBASE,这俩都是列式存储数据库,主要用于OLAP方面2.ClickHouse支持SQL的大部分语法3.ClickHouse采用的是LSM Tree的结构,在数据导入的时候是顺序的append写,且写入的数据不可更改4.ClickHouse将数据给分成多个partition,并且将partition再次划分成多个

前言CLK虽然底层提供了自身状态的运行记录并记录到系统表中**(SYSTEM.*)**,但是对于运维人员来说,每次去查看这些数据会比较麻烦,现在 Prometheus + Grafana 的组合比较流行,达到监控+可视化的目的安装Prometheus上传并解压修改配置文件,一定要和文件中的格式保持一致(哪怕是空格也要保持一致)后台启动nohup ./prometheus --config.file

单表优化PreWhere代替WherePreWhere和Where的效果/语法都是一致的,都是用来过滤数据但是PreWhere仅仅支持表引擎为*MergeTreePreWhere的性能是Where的数十倍之多,CLK内部默认开启了优化操作,就算写的是Where,底层也会优化成PreWhere,不过官方还是建议尽量多的使用PreWhere需要主要注意的是,PreWhere也会有失效的情况如下图所示:

前言CLK虽然底层提供了自身状态的运行记录并记录到系统表中**(SYSTEM.*)**,但是对于运维人员来说,每次去查看这些数据会比较麻烦,现在 Prometheus + Grafana 的组合比较流行,达到监控+可视化的目的安装Prometheus上传并解压修改配置文件,一定要和文件中的格式保持一致(哪怕是空格也要保持一致)后台启动nohup ./prometheus --config.file

CLK的配置项主要在 config.xml 或 users.xml 中, 基本上都在 users.xml 里,找到后直接修改即可CPU资源内存资源

单表优化PreWhere代替WherePreWhere和Where的效果/语法都是一致的,都是用来过滤数据但是PreWhere仅仅支持表引擎为*MergeTreePreWhere的性能是Where的数十倍之多,CLK内部默认开启了优化操作,就算写的是Where,底层也会优化成PreWhere,不过官方还是建议尽量多的使用PreWhere需要主要注意的是,PreWhere也会有失效的情况如下图所示:

一致性CLK有个比较致命的缺点就是数据一致性的问题,CLK仅仅只能保证数据的最终一致性比如CLK的去重MT所以在使用CLK的时候,肯定也一定会出现短暂的数据不一致的情况解决方法:手动OPTIMIZE在表数据插入进来的时候,立马执行OPTIMIZE强制触发CLK的合并动作,这种方式虽然可以解决,但是对下游的影响往往是非常大的,除非这张表只有你一个人在使用,否则不建议这样做GROUP BY + 视图众