最近遇到一个问题，同事写得一个jar程序，在生产环境下出错了，他打电话让我给他重启一下，当时是我还不清楚他jar包放在哪个路径下的，只知道包名xxxxx.jar.这个时候我通过ps -aux |grep xxxx.jar 找到进程PID这里有两种方法可以使用1. 执行命令：pwdxPID 命令，就得到进程jar包所在的位置2.执...

1、接入kafka（以下内容来自官方文档：https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart）Canal Kafka RocketMQ QuickStart基本说明canal 1.1.1版本之后, 默认支持将canal server接收到的binlog数据直接投递到MQ, 目前默认支持的MQ系统有:kafka:

【资源是免费的，官网可下载，可是官网下载的网络实在是太慢了有时候还会断线，我也是花了很长时间才下载下来的，提供给大家一个方便】符合kafka version 0.11+mac 版：链接:https://pan.baidu.com/s/1q6qKrEbaDGukvqHLomrQdg 密码:qqy2windows 64bit 版：链接:https://pan.baidu.com/s/...

背景：canal 版本 1.1.4错误提示：ERROR com.alibaba.otter.canal.common.utils.NamedThreadFactory - from MultiStageCoprocessor-Parser-example-3com.alibaba.otter.canal.parse.exception.CanalParseException: com.alibab

1、canal 单机版可以参考下面的博客：https://blog.csdn.net/Zsigner/article/details/1089753902、CANAL HA模式这篇文章主要是针对CANALADMIN【HA】集群模式的报错信息：2020-11-30 11:09:22.568 [destination = test , address = /127.0.0.1:3306 , Event

背景：在canal.instance.log中看到message过大，无法写入kafka报错log：[pool-348-thread-5] ERROR c.a.o.canal.connector.kafka.producer.CanalKafkaProducer - java.util.concurrent.ExecutionException: org.apache.kafka.common.e

删除文件sudo rm /usr/local/mysqlsudo rm -rf /usr/local/mysql*sudo rm -rf /Library/StartupItems/MySQLCOMsudo rm -rf /Library/PreferencePanes/My*rm -rf ~/Library/PreferencePanes/My*sudo rm -rf /Libr...

今天产品气势汹汹的跑过来跟我说，生产环境的实时程序不对啊！！！！添加数据一直看不到展示开始不可能三连：1.不可能吧，早上还好端端的2.不可能会出问题的，可能是网络延迟3.不可能出不来啊，是不是你没清缓存，你清缓存试试看打发了产品回去之后，立马登上去看1.排查1.1 yarn 运行的好端端的,没收到电话跟短信是正常的（ps：这里加了监控实时任务挂掉的话是会电话短信通...

从关系型的数据库(Mysql)升级到列式管理的联机分析型数据库(ClickHouse)，这不亚于是小米加步枪升级为加特林机关枪的性能提升了，查询能力等确实是大大的提升了，这出现了一个问题我们之前存储在Mysql里的历史数据怎么往ClickHouse里面迁移呢，总不能不要吧那对业务来说他们可是不关心你底层数据怎么存储的，他们只希望数据准确，齐全，那下面我们就来说说都有哪些方式可以实现补全缺失的历史数

背景：对实时的历史数据持久化保存到Hdfs中，可以使用Hive Sql 追溯历史数据给业务参考多维度指标版本信息：Flink 1.11.2，Scala 2.11，Kafka 2.12，Hive 2.3.71、引入pom.xml内容<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.or