重置gitlab root 密码。

第一次启动 OBSERVER , 需要加一下 --helper ，后面再重启不用加了，主要是同步fe schema。# 貌似sudo 启动不了，不知道其他的这个原因不。doris 2.1.5 升级。

spark操作iceberg表与hive表 join 示例

结论：flinkSQL 流式数据去重，与批式逻辑一致。-- flinkSQL数据去重。-- kafka 数据准备。

# flink1.16 系统集成了 sql gateway 功能，其中包括两种方式，1. rest 2.hiveserver2# 测试 read write. hive iceberg 都可以

flink 消费kafka 程序重启后，从原先的自动提交的点继续消费，earliest 不用再从开始消费如果开启了checkpoint 以 checkpoint为准 ，enable.auto.commit 失效，如果没有开启，则以enable.auto.commit 为准

方法2: BulkLoad 的方式导入，spark 读取 hive 表，写入hbase 需要的 HFile 类型的 文件，写在 hdfs 上面，再使用BulkLoad ，把数据加载移动到hbase表中。缺点: 数据量较大会建成hbase regionserver 压力大，可能会导致regionserver not online ，宕机，造成服务不可用的状态，数据量小没事。方法1：先建 hbase表

本地调试，要安装 本地驱动，docker的会报网段不同，网络连接异常，如果采用docker部署，可以使用docker版本的驱动。要安装 google chrome 和 chrome driver 两个版本要一样。不要下载最新的浏览器和最新的驱动，那样你的怀疑人生的，找老版本的即可。不要下载最新的浏览器和最新的驱动，那样你的怀疑人生的，找老版本的即可。不要下载最新的浏览器和最新的驱动，那样你的怀疑人