使用pgoutput的方式设置postgresql修改postgresql.conf添加或者修改以下字段wal_level = logicalmax_wal_senders = 1max_replication_slots = 1修改pg_hba.conflocal replication <youruser> trusthost...

用作记录方便以后查找，用到的工具类：commons-compressmaven依赖<!-- https://mvnrepository.com/artifact/org.apache.commons/commons-compress --><dependency><groupId>org.apache.commons</groupId><art

什么是hudiHudi（发音为“hoodie”）摄取与管理处于DFS(HDFS或云存储)之上的大型分析数据集并为查询访问提供三个逻辑视图。读优化视图 - 在纯列式存储上提供出色的查询性能，非常像parquet表。增量视图 - 在数据集之上提供一个变更流并提供给下游的作业或ETL任务。准实时的表 - 使用基于列存储和行存储(例如 Parquet +Avro)以提供对实时数据的查询通过仔细地管理数据在