在前面已经了解了FlinkSQL的转换流程，即如何从excuteSql(sql)如何转换为transformation，到任务的提交。整体流程大致为：sqlNode --> Operation --> RelNode --> 优化 --> execNode --> Transformation现在想更深入的了解，我们书写的sql语句是如何通过connecter属性连接

1.定义：Apache Kylin（Extreme OLAP Engine for BigData）是一个开源的分布式分析引擎，为Hadoop等大型分布式数据平台之上的超大规模数据集提供标准SQL查询及多维分析（OLAP）能力，并提供亚秒级的交互式分析功能。它最初由eBay开发并贡献给开源社区。核心特性：为Hadoop提供标准SQL支持(大部分)支持超大数据集(预计算)亚秒级交互式查询(预计算)可

1、前言1.1、JavaCCJavaCC(Java Compiler Compiler)是一个开源的语法分析器生成器和词法分析器生成器。JavaCC通过词法和语法描述文件来生成分析器。flink通过java CC生成分析器用于sql解析和校验。如下图：在flink-table下的flink-sql-parser项目中，org.apache.flink.sql.parser.impl下的类，就是使用

当前表，即读取最新的全量快照数据并一次性返回。通过参数 read.streaming.enabled 参数开启流读模式，通过 read.start-commit 参数指定起始消费位置，支持指定 earliest 从最早消费。

12、离线compaction

1.需求分析：

1、Kafka的offsetKafka0.8版本以前，offset默认存储在zookeeper中（基于Zookeeper）Kafka0.9版本以后，offset默认存储在内部的topic中，基于__consumer_offsets 的Topic中。二：kafka消费offset提交配置：1. checkpoint禁用：flink kafka消费依赖于内部kafka客户端自动定期的offset提交配

1、介绍Apache Iceberg 是一种用于大型分析数据集的开放表格，Iceberge 向 Trino 和 Spark 添加了使用高性能格式的表，就像 Sql 表一样。Iceberg 为了避免出现不变要的一些意外，表结构和组织并不会实际删除，用户也不需要特意了解分区便可进行快速查询。Iceberg 的表支持快速添加、删除、更新或重命名操作。支持overwrite，但不支持行级的更新将分区列进行

1.数据中台的由来数据库阶段 ---> 传统数仓 ---> 大数据平台 ----> 大数据中台1.1.数据存储起源：数据库1979年：Oracle1.0商用数据库发布1996年：MySQL1.0发布，到2000年以后开始火起来。特点：数据库主要面向事务的增删改场景，一个数据库支撑多个简单单体应用，少量分析需求，借助数据库直接完成。但当数据增长较快，复杂的大量的分析需求，借助数据库