一.版本介绍：canal.admin ：1.1.4canal.deployer ：1.1.4canal.adapter：1.1.4Doris ：0.14/0.15三.多源配置：1.部署Canal不做详细介绍，可以参考官网部署。地址：https://github.com/alibaba/canal2.部署DorisApache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获

背景​生产Doris集群是0.15.3版本，今天在创建SQL_BLOCK_RULE 的sqlHash规则时，导致Doris集群的FE节点同步元数据时出现空指针异常，集群3个FE节点全部挂掉且无法正常启动的情况。异常操作行为及报错信息1.创建SQL_BLOCK_RULE的sqlHash规则：CREATE SQL_BLOCK_RULE test_rule_1PROPERTIES("sqlHash"="

离线数仓（Offline Data Warehouse）和实时数仓（Real-time Data Warehouse）是数仓领域两种常见的数据存储和处理架构，它们在数据处理的方式、目标和时间性上有所不同，本文将重点介绍目前主流实时数仓架构设计。

最近查看自己的虚拟机磁盘使用情况时，发现/dev/mapper/centos-root 使用接近爆满状态，为了让虚拟机能够正常使用，故需要动态扩容来搞定。将自己具体操作记录下来，恳请批评指正。**1**.**用df -h 查看磁盘使用情况，如下**：**2**.*...

背景：​目前prometheus监控组件主要是通过其他组件提供的metrics接口来获取组件的指标监控项，然后设定相关规则（报警阈值），最后通过alertmanager将达到阈值的指标发送给相关运维人员（可以发送到微信，钉钉，邮件等）。​那么，如果公司想通过prometheus监控自己开发的应用服务，并且该服务并没有提供metrics接口，就可以通过pushGateway的方式，将自定义的指标数据

Prometheus配置Alertmanager告警-钉钉告警创建用户和用户组本次安装使用我们自建的 prometheus 用户启动服务，用户和用户组的创建不在赘述。使用二进制包部署AlertManager​Alertmanager最新版本的下载地址可以从Prometheus官方网站https://prometheus.io/download/获取tar xvf alertmanager-0.23

1.下载kafka_exporter相关包：官网地址： https://github.com/prometheus/mysqld_exporter→ wget https://github.com/prometheus/mysqld_exporter/releases/download/v0.13.0/mysqld_exporter-0.13.0.linux-amd64.tar.gz2.解压→ t

Canal-adapter简单介绍及部分源码解析

Flink_CDC搭建及简单使用1.CDC简介：​CDC （Change Data Capture） ，在广义的概念上，只要能捕获数据变更的技术，都可以称为 CDC 。但通常我们说的CDC 技术主要面向数据库（包括常见的mysql,Oracle, MongoDB等）的变更，是一种用于捕获数据库中数据变更的技术。​目前市面上的CDC技术非常多,常见的主要包括Flink CDC,DataX,Canal

1.下载kafka_exporter相关包：wget https://github.com/danielqsj/kafka_exporter/releases/download/v1.4.2/kafka_exporter-1.4.2.linux-amd64.tar.gz2.解压注意：一个kafka集群（CDH kafka集群同样适用），只需要配置一个kafka_exporter即可，同时kafka