文章目录背景查看数据库年龄自动处理机制查看表的年龄清理方式背景由于PG的事务数量是有上限的，新老事务之间的年龄超过最大值之后必须要冻结，所以要及时监控，及时处理查看数据库年龄监控数据库年龄，及时清理select datname,age(datfrozenxid) from pg_database order by 2 desc;自动处理机制同一个数据库中，存在的最旧和最新两个事务之间的年龄最多是2

执行报错：./gradlew build -x test --stacktrace报错信息：Could not find or load main class org.gradle.wrapper.GradleWrapperMain解决：确定目录结构是否正常├── build.gradle├── gradle│└── wrapper│├── gradle-wrapper.jar│└── gradl

PowerDesigner:16文章目录简介脚本执行添加简介PowerDesigner 通过脚本对表模型批量添加字段脚本Option ExplicitDim mdl ' the current modelSet mdl = ActiveModelDim Tab 'running tableDim col_1Dim col_2Dim col_3Dim col_4Dim col_5' 定义属性变量fo

调整元数据编码

从kafka读取3个topic,join后写数据到clickhouse代码示例：val createTable ="""|CREATE TABLE nt_sale_order (|id VARCHAR,|write_date BIGINT,|create_uid INT,|name VARCHAR,|op VARCHAR|)|WITH (|'connector'

目的：构建基于hbase的实时数仓解决的问题：RDBMS到Hbase的数据实时采集，并写入Phoenix方法：Postgresql    ----->     Debezium     ----->     Kafka     ------>     Sparkstreaming    ------>     Phoenix本文：本文主要是从

前言：1、数据流Mysql -> Debezium -> Kafka -> Structured Streaming ->ElasticSearch2、Mysql -> Debezium -> Kafka 参考https://blog.csdn.net/u012551524/article/details/8425

Confluent:5.3.1Confluent安装：https://blog.csdn.net/u012551524/article/details/103686739kafka:2.0.01、修改配置文件/data/software/confluent-5.3.1/etc/ksql/ksql-server.propertiesbootstrap.servers=bigdata-...

前言：debezium提供了多种基于kafka的连接器，方便对RDB做数据流处理，包括:MongoDB,Oracle,Mysql,SqlServer,Postgresql,可扩展性强，代码可控，本篇介绍基于mysql的安装使用插件版本：Kafka:CDK3.10 (相当于Kafka1.1版本)，这里需要kafka 0.10以上版本才能支持Debezium:0.83Mysql:5...

Flink: Blink分支 1.5.1https://github.com/apache/flink/tree/blinkMaven Dependency:<dependency><groupId>com.alibaba.blink</groupId><artifactId>flink-scala_2.11</a...