集群部署在K8S环境内，存储使用的localpv，有一台K8S主机节点磁盘故障，导致在该节点上的redis节点均出现故障，主要表现为持久化失败、集群拓扑异常，持久化失败可以临时关闭RDB和AOF持久化、等挂载好新的硬盘后，重新创建pvc进行恢复，经过观察，这些redis节点恢复后，operator并不能完成集群自愈，需要手动干预，主要表现为：集群拓扑异常：故障的节点没有被清理掉、新的节点没有以正常

文章目录编写Docker文件Linux安装Docker创建Deployment配置Jenkins构建项目新建Service测试编写Docker文件创建DockerFile文件DockerFile：FROM java:8WORKDIR /ADD shortUrl-service-api/target/shortUrl-service-api.jar app.jarRUN bash -c 'cp /u

本次主要针对k8s环境下不同的存储openebs和ceph进行benchmark测试集群环境两个集群环境出了存储不同，broker、topic信息均相同kafka Info：5个brokerTopic Info：副本数3；分区30kafka server version：2.6.0生产者测试消息数：100w；每条消息大小：10byte存储类型每秒发送消息数 (records/sec)发送速率 (M

文章目录背景准备工作下载二进制包NameServerBroker脚本文件NameServerBroker如何使用上传文件部署背景​最近公司很多业务需要使用RocketMQ，阿里的云服务昂贵且运维不及时，所以业务团队找到我们部门，由我们部门负责RocketMQ集群的技术支持，每个业务都需要使用独立的集群，而且开发、测试、线上三个环境都需要搭建，靠“人工智能”确实有点太重复造轮子了，K8S环境的话，O

Djava.rmi.server.hostname需要获取Pod的真实IP，也可以通过环境变量的方式添加。获取真实IP是根据k8s集群内的运行时状态得到的，不同的k8s集群配置，可能获取方式不一样。重新build镜像，并更新至Deployment中，在本地就可以进行可视化调试了。修改Dockerfile，读取对应的环境变量。

文章目录准备工作集群部署编译修改配置文件启动创建集群自公司中间件逐渐容器化之后，太过依赖K8S，以至于快忘了怎么手动搭建一个集群，本文主要记录一下手动搭建一个3主3从集群的过程（3个master，每个master一个副本），redis版本为目前最新的redis7.0.0，顺便测试下redis7的新特性：Cluster: Support for hostnames, instead of IP ad

项目背景：基于k8s的容器化kafka PaaS管理平台，业务团队申请kafka，通过一系列操作，封装crd，调用operator创建集群，当然还包括其他功能、topic管理、group管理、监控告警、集群扩容、分区管理等等。后台会对每个集群启动定时任务，扫描kafka的元数据变化，主要是使用zk客户端Curator。

文章目录背景Master与Slave反亲和Master间反亲和效果图背景首先说一下亲和性和反亲和性：亲和性可以实现就近部署，增强网络能力实现通信上的就近路由，减少网络的损耗反亲和性主要是出于高可靠性考虑，尽量分散实例，某个节点故障的时候，对应用的影响只是N分之一或者只是一个实例由于Redis集群的分片机制以及failover机制，需要保证在部署时，保证节点尽量分散，即满足反亲和，这样才能保证当k8

一个测试环境的kafka集群，Topic有360+，Partition有2000+，部署在虚拟机上，由于多方面原因，要求迁移至k8s容器内（全量迁移），正好可以拿来练一下手。本文主要记录对MM1和MM2的实际操作过程，以及使用过程中遇到的问题及解决方案。

本文主要测试Partition的Leader所在Broker节点故障之后，对客户端的影响。测试信息：Topic信息：3个副本，3个分区；Producer：多线程，100条/秒、10条/秒；Consumer：不间断poll消息；测试客户端：原生的KafkaConsumer/KafkaProducer、Spring的KafkaTemplete；测试场景：Producer和Consumer运行过程中，通