
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
Maxwell 和 canal 工具对比
➢ Maxwell 没有 canal 那种 server+client 模式,只有一个 server 把数据发送到消息队列或 redis。如果需要多个实例,通过指定不同配置文件启动多个进程。➢ Maxwell 有一个亮点功能,就是 canal 只能抓取最新数据,对已存在的历史数据没有办法处理。而 Maxwell 有一个 bootstrap 功能,可以直接引导出完整的历史数据用于初始化,非常好用。➢
如何确定kafka节点数量,topic数量,topic的分区数量
①kafka节点数量Kafka 机器数量(经验公式)=2*(峰值生产速度副本数/100)+1峰值速度:比如flume读取日志文件往kafka里写数据的峰值速度,得问公司上游业务团队获得副本数:topic的副本数,一般是2个(3个)先拿到峰值生产速度,再根据设定的副本数,就能预估出需要部署 Kafka 的数量。比如我们的峰值生产速度是 50M/s。副本数为 2。Kafka 机器数量=2(50*2/1
到底了