前言断更许久回归，前段时间除了工作任务比较多以外，其余时间都用来准备阿里云的acp认证了，如今证书到手，正式回归正常更新节奏。今天先来给大家分享一下我备考acp认证的一些经验和资料，希望可以帮助到有兴趣的小伙伴！介绍首先我备考的是阿里云acp认证中的云计算工程师，它是面向使用阿里云云计算产品的架构、开发、运维人员的专业技术认证。这个属于阿里认证中比较简单的一项考试了，由于疫情原因，阿里推出了线上的

服务器无外网环境安装软件背景yum源rpm安装背景有过linux服务器内网环境安装各种软件经历的童靴或多或少体验过安装过程中各种依赖缺失，又找不到合适rpm包的痛苦，下面是一些我工作经历中总结出的一些可以减少这些痛苦的经验，给新手开路，望大神指点！yum源这是大家安装软件时，最爽的安装方式之一，写在这里有点算废话了，但是还是想说一句，能用本地yum源安装的就不要再用下面的这些方法了。yu...

数据同步工具--Canal前言canal简介定位工作原理名词解释实例部署环境准备jdk1.8版本zookeeper源端mysql环境参数初始化canal安装包安装部署配置修改启动查看日志监控运维监控运维前言最近有数据同步相关的需求，遂在网上查看相关的数据同步工具，便发现了阿里开源出来的数据增量同步工具canal，翻阅官方文档之后，最终确定先使用canal将源端数据同步到kafka，再通过发布订..

前言适配elasticsearch不同版本的过程，是一个了解adapter整体架构的过程，但是同样也很想吐槽elasticsearch的版本间的不兼容问题，不过既然要用，就怂怂的接受好了。适配注：adapter使用版本为1.1.5-alpha在1.1.5版本的adapter中es的同步，将不同大版本的es打成了不同的jar包，然后再通过配置文件去调用相应版本的包去同步数据，官方提供了es6...

k8s集群下canal-server的伪高可用实践前言问题解决方案总结前言前面我们已经介绍了canal的admin、server、adapter三个部分的容器化以及在k8s集群下的搭建过程。在创建canal-server的时候，k8s环境下，容器重启会造成ip地址的变动给我们带来了一些问题，我们通过在创建canal-server的时候使用statefuset类型，使其可以通过固定的域名去向ca..

k8s集群下搭建数据同步工具-canal前言容器化canal-admin环境准备canal-servercanal-adapterk8s集群上搭建canalcanal-admincanal-servercanal-adapter前言本文使用v1.1.4版本的canal相关程序进行容器化，主要包含cana-admin、canal-server、canal-adapter三个部分，其中admin和..

前言canal-server同步到kafka本身是支持Kerberos方式的鉴权的，但是鉴于项目现在使用的kafka集群使用的是SASL/PLAIN的鉴权方式，所以需要对canal-server同步kafka做一下适配改造。准备kafka SASL/PLAIN鉴权的搭建我参考的这篇文章kafka SASL/PLAIN鉴权的搭建了解如何使用java向以SASL/PLAIN方式鉴权的kafk...

前言从canal-adapter文档我们可以知道，其实adapter本身是有从数据库读取配置的功能的，但是文档中只是简单的提了一句，本文就从代码入手，带大家看看adapter从数据库读取配置这部分的功能是如何实现以及应该如何去使用它。代码详解主要介绍几个关键的位置，帮助大家理清思路com.alibaba.otter.canal.adapter.launcher.config.BootstrapCo

前言使用prometheus监控canal的方法官方文档上已经介绍的很详细了，这里主要是介绍一下在k8s环境下，prometheus通过pod的服务发现，自动添加对新增的canal-server实例的监控操作canal-server的容器化教程在前面文章中已经详细介绍过了，有兴趣的可以看一下。k8s环境搭建canal-server主要关注当时canal-server创建的yaml中的以下配置spe

前言在canal的数据同步使用过程中，有时会遇到需要修改同步位点的情况，这里对修改位点操作做一下记录。分析我们知道在canal-server的instance的配置文件中有一下配置项是与位点修改相关的，canal.instance.master.journal.name=canal.instance.master.position=canal.instance.master.times...