前言Flink 1.11新增支持CDC，包括Debezium、Canal，现修改debezium-json的format格式默认输出格式1、插入（true,1,2,3)2、更新（false,1,2,3)（true,1,2,43、删除（false,1,2,3)（true,1,2,43、

文章目录异常问题原因解决测试异常Caused by: java.sql.BatchUpdateException:Batch entry 0 INSERT INTO "action_log"("id", "cnt") VALUES ('1', 1) ON CONFLICT ("id" DO UPDATE SET "id"=EXCLUDED."id", "cnt"=EXCLUDED."cnt"was

问题：sqoop从postgresql拉数据，在执行到mapreduce时报错Connection refused. Check that the hostname and port are correct and that the postmaster is accepting TCP/IP connections问题定位过程：1、postgresql 5432端口已开放，执行任务的...

执行删除创建index pattern,报错：blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];: [cluster_block_exception] blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];解决：curl -XPUT -H &quo

配置Apache Phoenix QueryServer基于nginx的负载均衡，HA，nginx配置如下：upstream  phoenixServer {ip_hash;server   172.18.10.35:8765 max_fails=5 fail_timeout=60s;server   172.18.10.36:8765 max_fails=5 fail_timeout=...

beeline取出hive表数据到CSV文件，做数据取样：beeline -u jdbc:hive2:// --verbose=true --outputformat=csv2 -e "select * from test.INFO_FLUME_DATA_DT0 limit 10">>tt.csv

异常情况：1、hbase异常中断，但依然有sqoop，kettle任务在做数据写入，导致部分region not on line2、phoenix索引rebuild，或phoenix对hbase做数据写入时异常中断，导致部分region not on line3 、hbase做重启操作后，做hbase表级别操作时延时报错，region not on line影响：整个hbase瘫...

 Kettle实现oracle到hbase的数据抽取 本文采用kettle最新版本:7.1 （安装：下载下来后，直接解压就可以）  cdh版本为5.11.0 一、 环境配置操作流程：（1）         由于最新版本的插件kettle7.1只能支持cdh5.10，所以我们要更改kettle的shim插件，主要操作就是替换jar包，如图：首先hadoop的j...

背景：由于之前传统的数据库数据采集及集成到hbase，都在用sqoop（1.46），但是发现比较麻烦，虽然脚本很简单，但是还是比较繁琐，且发现各种bug，问题很多，就想采用kettle来做，本文档主要是对kettle可行性的调研本文采用kettle最新版本:7.1 （傻瓜式安装） cdh版本为5.11.0操作流程：由于最新版本的插件kettle7.1只能支持cdh5.10，...

error:org.postgresql.util.PSQLException: ERROR: column "info" is of type jsonb but expression is of type character varying当写入jsonb类型数据时，报错解决：df.write .format("jdbc").option("url", "jdbc:postg...