目录

RocketMQ历史及发展

        如果想要了解RocketMQ的历史，则需了解阿里巴巴中间件团队中的历史,2011年，Linkin(领英：全球知名的职场社交平台)推出Kafka消息引擎，阿里巴巴中间件团队在研究了Kafka的整体机制和架构设计之后，基于Kafka(Scala语言编写)的设计使用Java进行了完全重写并推出了MetaQ 1.0版本，主要是用于解决顺序消息和海量堆积的问题，由开源社区killme2008维护。本书重点不在此版本，具体见：https://github.com/killme2008/Metamorphosis
        2012年，阿里巴巴发现MetaQ原本基于Kafka的架构在阿里巴巴如此庞大的体系下很难进行水平扩展，于是对MetaQ进行了架构重组升级，开发出了MetaQ 2.0，同年阿里把Meta2.0从阿里内部开源出来，取名RocketMQ，为了命名上的规范以及版本上的延续，对外称为RocketMQ3.0。因为RocketMQ3只是RocketMQ的一个过渡版本，本书重点也不在此。
        2016年11月28日，阿里巴巴宣布将开源分布式消息中间件RocketMQ捐赠给Apache，成为Apache 孵化项目。在孵化期间，RocketMQ完成编码规约、分支模型、持续交付、发布规约等方面的产品规范化，同时RocketMQ3也升级为RocketMQ4。现在RocketMQ主要维护的是4.x的版本，也是大家使用得最多的版本,所以本书重点将围绕此版本进行详细的讲解，项目地址：https://github.com/apache/rocketmq/
        2015年，阿里基于RocketMQ开发了阿里云上的Aliware MQ，Aliware MQ(Message Queue)是RocketMQ的商业版本，是阿里云商用的专业消息中间件，是企业级互联网架构的核心产品，基于高可用分布式集群技术，搭建了包括发布订阅、消息轨迹、资源统计、定时（延时）、监控报警等一套完整的消息云服务。因为Aliware MQ是商业版本，本书也不对此产品进行讲述，产品地址：https://www.aliyun.com/product/rocketmq
        2021年，伴随众多企业全面上云以及云原生的兴起，RocketMQ也在github上发布5.0版本。目前来说还只是一个预览版，不过RocketMQ5的改动非常大，同时也明确了版本定位，RocketMQ 5.0定义为云原生的消息、事件、流的超融合平台。本书也将会根据目前所发布的版本进行针对性的讲述。

RocketMQ的下载及安装

下载

RocketMQ可以从官网下载，也可以从Github上获取，推荐从官网中获取
官网：http://rocketmq.apache.org/dowloading/releases/
Github：https://github.com/apache/rocketmq/
本书中将使用4.8.0的版本,从官网上获取的页面如下。
在这里插入图片描述
环境要求如下：

  • Windows/Linux 64位系统
  • JDK1.8(64位)
  • 源码安装需要安装Maven 3.2.x

安装

windows下的安装

下载

下载链接：https://archive.apache.org/dist/rocketmq/4.8.0/rocketmq-all-4.8.0-bin-release.zip
解压运行版本(Binary)，确保已经安装好了JDK1.8
解压后的目录如下：
在这里插入图片描述

配置环境变量

变量名：ROCKETMQ_HOME
变量值：MQ解压路径\MQ文件夹名在这里插入图片描述

启动

在RocketMQ的架构中，都是需要先启动NameServer再启动Broker的。所以先启动NameServer。
- 启动NameServer
使用cmd命令框执行进入至‘MQ文件夹\bin’下，然后执行‘start mqnamesrv.cmd’，启动NameServer。成功后会弹出提示框，此框勿关闭。
在这里插入图片描述
- 启动Broker
使用cmd命令框执行进入至‘MQ文件夹\bin’下，然后执行‘start mqbroker.cmd -n 127.0.0.1:9876 autoCreateTopicEnable=true’，启动Broker。成功后会弹出提示框，此框勿关闭。
在这里插入图片描述

注意事项

- 弹出提示框‘错误: 找不到或无法加载主类 xxxxxx’的处理
打开‘MQ文件夹\bin’下的runbroker.cmd，然后将‘%CLASSPATH%’加上英文双引号。保存并重新执行start语句。
在这里插入图片描述
再次启动
在这里插入图片描述
- 内存不足的处理方式
RocketMQ默认的虚拟机内存较大，启动Broker如果因为内存不足失败，需要编辑如下两个配置文件，修改JVM内存大小。编辑‘MQ文件夹\bin’下的runbroker.cmd和runserver. cmd修改默认JVM大小（Linux上对应同名sh文件）
runbroker.cmd --broker的配置
runserver. cmd --nameServer的配置
例如：配置以下参数将RocketMQ的启动JVM的 堆空间内存控制在512m，新生代控制 在256m。元空间初始128m，最大320m。
在这里插入图片描述
- 修改RocketMQ的存储路径
rocketmq取的默认路径是user.home路径，也就是用户的根目录，一般存储放在跟路径下的 /store目录。
在这里插入图片描述
源码中可以得到验证，如下图：
在这里插入图片描述
所以这里会有一个问题，RocketMQ很容易导致C盘空间不够，在使用过程中，创建一个主题默认就是要创建1G的文件，很可能会导致出问题。
所以在windows上容易导致C盘空间吃满。
解决方式有两种：

  1. 修改源码，比如：全局替换user.home参数为mq.store，然后重新打包
  2. 使用源码方式启动，源码启动时通过参数设置指定存储位置

控制台插件

环境要求

运行前确保：已经有jdk1.8，Maven(打包需要安装Maven 3.2.x)

下载

老版本地址下载：https://codeload.github.com/apache/rocketmq-externals/zip/master
新版本地址：https://github.com/apache/rocketmq-dashboard
解压后如图(以下使用的是老版本，新版本参考老版本即可)

在这里插入图片描述

启动

后端管理界面是：rocketmq-console
下载完成之后，进入‘\rocketmq-console\src\main\resources’文件夹，打开‘application.properties’进行配置。
在这里插入图片描述

进入‘\rocketmq-externals\rocketmq-console’文件夹，执行‘mvn clean package -Dmaven.test.skip=true’，编译生成。
在这里插入图片描述

编译成功之后，cmd命令进入‘target’文件夹，执行‘java -jar rocketmq-console-ng-2.0.0.jar’，启动‘rocketmq-console-ng-2.0.0.jar’。

在这里插入图片描述
在这里插入图片描述
浏览器中输入‘127.0.0.1:8089’，成功后即可进行管理端查看。
在这里插入图片描述

控制台使用文档

- 运维页面

  • 你可以修改这个服务使用的namesrv的地址
  • 你可以修改这个服务是否使用VIPChannel(如果你的mq server版本小于3.5.8，请设置不使用)
    在这里插入图片描述
    - 驾驶舱
  • 查看broker的消息量（总量/5分钟图）
  • 查看单一主题的消息量（总量/趋势图）
    在这里插入图片描述
  • 集群
  • 集群的分布情况：cluster与broker关系、broker
  • 查看broker具体信息/运行信息
  • 查看broker配置信息
    在这里插入图片描述
    - 主题页面
  • 展示所有的主题，可以通过搜索框进行过滤
  • 筛选 普通/重试/死信 主题
  • 添加/更新主题
    clusterName 创建在哪几个cluster上
    brokerName 创建在哪几个broker上
    topicName 主题名
    writeQueueNums 写队列数量
    readQueueNums 读队列数量
    perm //2是写 4是读 6是读写
  • 状态 查询消息投递状态（投递到哪些broker/哪些queue/多少量等）
  • 路由 查看消息的路由（现在你发这个主题的消息会发往哪些broker，对应broker的queue信息）
  • CONSUMER管理（这个topic都被哪些group消费了，消费情况何如）
  • topic配置（查看变更当前的配置）
  • 发送消息（向这个主题发送一个测试消息）
  • 重置消费位点(分为在线和不在线两种情况，不过都需要检查重置是否成功)
    10.删除主题 （会删除掉所有broker以及namesrv上的主题配置和路由信息）
    在这里插入图片描述
    - 消费者页面
  • 展示所有的消费组，可以通过搜索框进行过滤
  • 刷新页面/每隔五秒定时刷新页面
  • 按照订阅组/数量/TPS/延迟 进行排序
  • 添加/更新消费组
    clusterName 创建在哪几个集群上
    brokerName 创建在哪几个broker上
    groupName 消费组名字
    consumeEnable //是否可以消费 FALSE的话将无法进行消费
    consumeBroadcastEnable //是否可以广播消费
    retryQueueNums //重试队列的大小
    brokerId //正常情况从哪消费
    whichBrokerWhenConsumeSlowly//出问题了从哪消费
  • 终端 在线的消费客户端查看，包括版本订阅信息和消费模式
  • 消费详情 对应消费组的消费明细查看，这个消费组订阅的所有Topic的消费情况，每个queue对应的消费client查看（包括Retry消息）
  • 配置 查看变更消费组的配置
  • 删除 在指定的broker上删除消费组
    在这里插入图片描述
    - 生产者页面

通过Topic和Group查询在线的消息生产者客户端
信息包含客户端主机 版本
在这里插入图片描述

- 消息查询页面

  • 根据Topic和时间区间查询 *由于数据量大 最多只会展示2000条，多的会被忽略
  • 根据Topic和Key进行查询
  • 最多只会展示64条
  • 根据消息主题和消息Id进行消息的查询
  • 消息详情可以展示这条消息的详细信息，查看消息对应到具体消费组的消费情况（如果异常，可以查看具体的异常信息）。可以向指定的消费组重发消息
    在这里插入图片描述
Linux下的安装
环境要求

64bit OS、64bit JDK 1.8+、4g+ free disk for Broker server

启动

在RocketMQ的架构中，都是需要先启动NameServer再启动Broker的。所以先启动NameServer。

  • 启动NameServer
    进入至‘MQ文件夹\bin’下，然后执行‘nohup sh mqnamesrv &’，启动NAMESERVER。
    查看日志的命令：tail -f ~/logs/rocketmqlogs/namesrv.log
    在这里插入图片描述
  • 启动Broker
    进入至‘MQ文件夹\bin’下，启动BROKER。
    修改配置文件增加外网地址(你启动加载哪个配置文件就修改哪个，比如修改broker.conf)
    brokerIP1=192.168.56.101
    启动命令如下：
    nohup sh mqbroker -c …/conf/broker.conf -n 192.168.56.101:9876 autoCreateTopicEnable=true &
    这样启动的服务器客户端可以自动创建主题。
    查看日志的命令：tail -f ~/logs/rocketmqlogs/broker.log
    在这里插入图片描述
注意事项

1.RocketMQ需要开通的端口：

  • rocketMQ自身占用有9876
  • 非vip通道端口:10911
  • vip通道端口:10909 (只针对producer 而且4.5以后已经默认不开启了)
    VIP通道其实就是多监听一个端口用于接受处理消息，因为默认端口通道可能很多在用，为了防止某些很重要的业务堵塞，就再开一个端口处理。这对于老版本的 RocketMQ 有消息接收队列的时候，作用可能大一点，对于目前的 RocketMQ 的设计，作用没那么大了。所以，这个默认就不开启了，留着只是为了兼容老版本。
    2.其他：
    记得Linux上修改文件权限：命令如下：chmod -R 777 /home/linux
RocketMQ默认的虚拟机内存较大，启动Broker如果因为内存不足失败，需要编辑如下两个配置文件，
修改JVM内存大小。（但是这个也仅仅是在测试环境中，RocketMQ在生产上最低要求
至少8G内存<官方推荐>才能确保RocketMQ的效果）

编辑runbroker.sh和runserver.sh修改默认JVM大小（windows上对应cmd文件）
vi runbroker.sh           --broker的配置
vi runserver.sh            --nameServer的配置

JAVA_OPT="${JAVA_OPT} -server -Xms1024m -Xmx1024m -Xmn512m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
控制台插件

因为可视化插件是基于java打包的，所以启动过程和windows上是一样，修改端口号和打包可参考之前控制台插件
执行‘nohup java -jar rocketmq-console-ng-1.0.1.jar &’，启动‘rocketmq-console-ng-1.0.1.jar’。

RocketMQ源码安装与调试
下载

http://rocketmq.apache.org/dowloading/releases/
在这里插入图片描述

环境要求
  • 64位系统
  • JDK1.8(64位)
  • Maven 3.2.x
IntelliJ IDEA导入

在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
导入后执行Maven命令install
mvn install -Dmaven.test.skip=true
在这里插入图片描述
验证下没问题

启动RocketMQ源码
  • 启动NameServer

在这里插入图片描述
在这里插入图片描述

如上图，中Value值是一个Rocket运行主目录（一般这个目录新建）
在Rocket运行主目录中创建conf、logs、store三个文件夹
然后从源码目录中distribution目录下的中将broker.conf、logback_broker.xml、logback_namesrv.xml复制到conf目录中

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

  • 启动Broker
    在broker模块找到broker模块，同时找到启动类BrokerStartup.java

在这里插入图片描述
需要修改配置文件broker.conf

在这里插入图片描述
在这里插入图片描述

  • 配置如下：
    #nameServer
    namesrvAddr=127.0.0.1:9876
    autoCreateTopicEnable = true
    storePathRootDir = F:\RocketMQ\store
    #commitLog存储路径
    storePathCommitLog = F:\RocketMQ\store\commitlog
    #消费队列存储路径
    storePathConsumeQueue =F:\RocketMQ\store\consumequeue
    #消息索引存储路径
    storePathindex = F:\RocketMQ\store\index
    #checkpoint文件存储路径
    storeCheckpoint = F:\RocketMQ\store\checkpoint
    #abort文件存储路径
    abortFile = F:\RocketMQ\store\abort
  • 配置环境变量
    在这里插入图片描述
    在这里插入图片描述
  • 最后检查下数据文件
    在这里插入图片描述
  • 启动的日志文件目录
    启动过程中任何的日志信息已经写入
    在这里插入图片描述
    在这里插入图片描述
# java-rocketmq # rocketmq # kafka
Logo
向您推荐>>Eolink开发者社区

权威｜前沿｜技术｜干货｜国内首个API全生命周期开发者社区

更多推荐

ELK实现containerd的容器日志采集展示【基于logging的全栈监测】

企业级ELK Stack构建介绍

avatar 云原生

深入理解 Mocha 测试框架：从零实现一个 Mocha

前言什么是自动化测试自动化测试在很多团队中都是Devops环节中很难执行起来的一个环节，主要原因在于测试代码的编写工作很难抽象，99%的场景都需要和业务强绑定，而且写测试代码的编写工作量往往比编写实际业务代码的工作量更多。在一些很多业务场景中投入产出比很低，适合写自动化测试的应该是那些中长期业务以及一些诸如组件一样的基础库。自动化测试是个比较大的概念，其中分类也比较多，比如单元测试，端对端测试，集

avatar 云原生

(20200916 Solved)docker-compose up创建容器自动退出

问题描述如题，创建容器后自动退出了。并且docker start container无效解决方案原因是缺失了控制终端的配置，需要在docker-compose.yml中增加tty:true ，有时候这样也不行，需要再增加一个command:/bin/bash，命令不一定是这个，需要是一个不会退出的命令，然后用-d后台启动容器。Referencesdocker-compose启动容器后自动退出...

avatar 云原生