RocketMQ 安装
一、准备工作
1、下载RocketMQ
以RocketMQ最新版本：5.3.2
[下载页面](https://rocketmq.apache.org/dowloading/releases/) [下载地址](https://archive.apache.org/dist/rocketmq/4.9.1/rocketmq-all-4.9.1-bin-release.zip)
### 2、环境要求
-
Linux64位系统
-
JDK1.8(64位)
* 源码安装需要安装Maven 3.2.x
二、安装RocketMQ
以二进制包方式安装
安装的步骤
+ 上传下载的二进制包到安装目录
- 解压安装包
- 进入到安装目录
目录文件说明：
* bin：启动脚本，包括shell脚本和CMD脚本
- conf：实例配置文件 ，包括broker配置文件、logback配置文件等
- lib：依赖jar包，包括Netty、commons-lang、FastJSON等
1、单机
1.1、启动NameServer
# 1.启动NameServer
nohup sh bin/mqnamesrv &
# 2.查看启动日志
tail -f ~/logs/rocketmqlogs/namesrv.log
#### 1.2、启动Broker
# 1.启动Broker
nohup sh bin/mqbroker -n localhost:9876 &
# 2.查看启动日志
tail -f ~/logs/rocketmqlogs/broker.log
* 问题描述：
RocketMQ默认的虚拟机内存较大,默认4G,启动Broker如果因为内存不足失败，需要编辑如下两个配置文件,修改JVM内存大小
# 编辑runbroker.sh和runserver.sh修改默认JVM大小(安装目录的bin/目录下)
vi runbroker.sh
vi runserver.sh
* 参考设置：
```JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m -Xmn256m -XX:MetaspaceSize=256m -XX:MaxMetaspaceSize=320m"```
#### 1.3、检查是否启动成功
[root@localhost bin]# jps
3702 NamesrvStartup
4183 Jps
4011 BrokerStartup
#### 1.3、关闭broker和nameServer
要先关闭broker再关闭nameServer，因为broker依赖于nameServer,如果先关闭nameServer导broker找不到nameServer
sh bin/mqshutdown broker
sh bin/mqshutdown namesrv
### 2、集群
2.1 各角色介绍
- Producer：消息的发送者；举例：发信者
- Consumer：消息接收者；举例：收信者
- Broker：暂存和传输消息；举例：邮局
- NameServer：管理Broker；举例：各个邮局的管理机构
- Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；一个消息的接收者可以订阅一个或者多个Topic消息
- Message Queue：相当于是Topic的分区；用于并行发送和接收消息
#### 2.2 集群介绍
2.2.1 集群特点
-
NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。
- Broker部署相对复杂，Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的BrokerName，不同的BrokerId来定义，BrokerId为0表示Master，非0表示Slave。Master也可以部署多个。每个Broker与NameServer集群中的所有节点建立长连接，定时注册Topic信息到所有NameServer。 - Producer与NameServer集群中的其中一个节点（随机选择）建立长连接，定期从NameServer取Topic路由信息，并向提供Topic服务的Master建立长连接，且定时向Master发送心跳。Producer完全无状态，可集群部署。 - Consumer与NameServer集群中的其中一个节点（随机选择）建立长连接，定期从NameServer取Topic路由信息，并向提供Topic服务的Master、Slave建立长连接，且定时向Master、Slave发送心跳。Consumer既可以从Master订阅消息，也可以从Slave订阅消息，订阅规则由Broker配置决定。 ##### 2.2.2 集群模式
单Master模式
这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。
###### 多Master模式
一个集群无Slave，全是Master，例如2个Master或者3个Master，这种模式的优缺点如下：
- 优点：配置简单，单个Master宕机或重启维护对应用无影响，在磁盘配置为RAID10时，即使机器宕机不可恢复情况下，由于RAID10磁盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步刷盘一条不丢），性能最高；
- 缺点：单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不可订阅，消息实时性会受到影响。
###### 多Master多Slave模式（异步）
每个Master配置一个Slave，有多对Master-Slave，HA采用异步复制方式，主备有短暂消息延迟（毫秒级），这种模式的优缺点如下：
- 优点：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，同时Master宕机后，消费者仍然可以从Slave消费，而且此过程对应用透明，不需要人工干预，性能同多Master模式几乎一样；
- 缺点：Master宕机，磁盘损坏情况下会丢失少量消息。
###### 多Master多Slave模式（同步）
每个Master配置一个Slave，有多对Master-Slave，HA采用同步双写方式，即只有主备都写成功，才向应用返回成功，这种模式的优缺点如下：
- 优点：数据与服务都无单点故障，Master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高；
- 缺点：性能比异步复制模式略低（大约低10%左右），发送单个消息的RT会略高，且目前版本在主节点宕机后，备机不能自动切换为主机。
#### 2.3 双主双从集群搭建
2.3.1 总体架构
消息高可用采用2m-2s（同步双写）方式
##### 2.3.2 集群工作流程
-
启动NameServer，NameServer起来后监听端口，等待Broker、Producer、Consumer连上来，相当于一个路由控制中心。 2. Broker启动，跟所有的NameServer保持长连接，定时发送心跳包。心跳包中包含当前Broker信息(IP+端口等)以及存储所有Topic信息。注册成功后，NameServer集群中就有Topic跟Broker的映射关系。 3. 收发消息前，先创建Topic，创建Topic时需要指定该Topic要存储在哪些Broker上，也可以在发送消息时自动创建Topic。 4. Producer发送消息，启动时先跟NameServer集群中的其中一台建立长连接，并从NameServer中获取当前发送的Topic存在哪些Broker上，轮询从队列列表中选择一个队列，然后与队列所在的Broker建立长连接从而向Broker发消息。 5. Consumer跟Producer类似，跟其中一台NameServer建立长连接，获取当前订阅Topic存在哪些Broker上，然后直接跟Broker建立连接通道，开始消费消息。
##### 2.3.3 服务器环境
| 序号 | IP | 角色 | 架构模式 | | -------- | -------------- | ------------------------ | --------------- | | 1 | 192.168.25.135 | nameserver、brokerserver | Master1、Slave2 | | 2 | 192.168.25.138 | nameserver、brokerserver | Master2、Slave1 |
##### 2.3.4 Host添加信息
vim /etc/hosts
配置如下:
```bash
nameserver
172.16.20.155 rocketmq-nameserver1 172.16.20.156 rocketmq-nameserver2
broker
172.16.20.155 rocketmq-master1 172.16.20.155 rocketmq-slave2 172.16.20.156 rocketmq-master2 172.16.20.156 rocketmq-slave1
配置完成后, 重启网卡
```bash
systemctl restart network
##### 2.3.5 防火墙配置
宿主机需要远程访问虚拟机的rocketmq服务和web服务，需要开放相关的端口号，简单粗暴的方式是直接关闭防火墙
# 关闭防火墙
systemctl stop firewalld.service
# 查看防火墙的状态
firewall-cmd --state
# 禁止firewall开机启动
systemctl disable firewalld.service
或者为了安全，只开放特定的端口号，RocketMQ默认使用3个端口：9876 、10911 、11011 。如果防火墙没有关闭的话，那么防火墙就必须开放这些端口：
* `nameserver` 默认使用 9876 端口
master默认使用 10911 端口slave默认使用11011 端口
执行以下命令：
```bash
开放name server默认端口
firewall-cmd --remove-port=9876/tcp --permanent
开放master默认端口
firewall-cmd --remove-port=10911/tcp --permanent
开放slave默认端口 (当前集群模式可不开启)
firewall-cmd --remove-port=11011/tcp --permanent
重启防火墙
firewall-cmd --reload
##### 2.3.6 环境变量配置
```bash
vim /etc/profile
在profile文件的末尾加入如下命令
#set rocketmq
ROCKETMQ_HOME=/usr/local/rocketmq
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH
输入:wq! 保存并退出， 并使得配置立刻生效：
```bash
source /etc/profile
##### 2.3.7 创建消息存储路径
```bash
mkdir -p /usr/local/rocketmq/store
mkdir -p /usr/local/rocketmq/store/commitlog
mkdir -p /usr/local/rocketmq/store/consumequeue
mkdir -p /usr/local/rocketmq/store/index
##### 2.3.8 broker配置文件
集群主从节点相同的配置
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
```
###### 1) master1
服务器：172.16.20.155
```sh
vi /usr/soft/rocketmq/conf/2m-2s-sync/broker-a.properties
在相同的配置文件下增加以下的内容：
```bash
#broker名字，注意此处不同的配置文件填写的不一样 brokerName=broker-a #0 表示 Master，>0 表示 Slave brokerId=0 #Broker 对外服务的监听端口 listenPort=10911 #Broker 的角色 #- ASYNC_MASTER 异步复制Master #- SYNC_MASTER 同步双写Master #- SLAVE brokerRole=SYNC_MASTER #刷盘方式 #- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 flushDiskType=SYNC_FLUSH
###### 2) slave2
服务器：172.16.20.155
```sh
vi /usr/soft/rocketmq/conf/2m-2s-sync/broker-b-s.properties
修改配置如下：
```bash
#broker名字，注意此处不同的配置文件填写的不一样 brokerName=broker-b #0 表示 Master，>0 表示 Slave brokerId=1 #Broker 对外服务的监听端口 listenPort=11011 #Broker 的角色 #- ASYNC_MASTER 异步复制Master #- SYNC_MASTER 同步双写Master #- SLAVE brokerRole=SLAVE #刷盘方式 #- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 flushDiskType=ASYNC_FLUSH
###### 3) master2
服务器：192.168.25.138
```sh
vi /usr/soft/rocketmq/conf/2m-2s-sync/broker-b.properties
修改配置如下：
```bash
#broker名字，注意此处不同的配置文件填写的不一样 brokerName=broker-b #0 表示 Master，>0 表示 Slave brokerId=0 #Broker 对外服务的监听端口 listenPort=10911 #Broker 的角色 #- ASYNC_MASTER 异步复制Master #- SYNC_MASTER 同步双写Master #- SLAVE brokerRole=SYNC_MASTER #刷盘方式 #- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 flushDiskType=SYNC_FLUSH
###### 4) slave1
服务器：192.168.25.138
```sh
vi /usr/soft/rocketmq/conf/2m-2s-sync/broker-a-s.properties
修改配置如下：
```bash
#broker名字，注意此处不同的配置文件填写的不一样 brokerName=broker-a #0 表示 Master，>0 表示 Slave brokerId=1 #Broker 对外服务的监听端口 listenPort=11011 #Broker 的角色 #- ASYNC_MASTER 异步复制Master #- SYNC_MASTER 同步双写Master #- SLAVE brokerRole=SLAVE #刷盘方式 #- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 flushDiskType=ASYNC_FLUSH
##### 2.3.9 修改启动脚本文件
###### 1) runbroker.sh
```sh
vi /usr/local/rocketmq/bin/runbroker.sh
需要根据内存大小进行适当的对JVM参数进行调整：
```bash
#=================================================== # 开发环境配置 JVM Configuration JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m"
####2）runserver.sh
```sh
vim /usr/local/rocketmq/bin/runserver.sh
```bash
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
##### 2.3.10 服务启动
###### 1) 启动NameServe集群
分别在192.168.25.135和192.168.25.138启动NameServer
```bash
cd /usr/local/rocketmq/bin
nohup sh mqnamesrv &
```
###### 2) 启动Broker集群
* 在192.168.25.135上启动master1和slave2
master1：
```bash
cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-syncbroker-a.properties &
```
slave2：
```sh
cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-b-s.properties &
```
* 在192.168.25.138上启动master2和slave2
master2
```sh
cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-b.properties &
```
slave1
```sh
cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-a-s.properties &
```
##### 2.3.11 查看进程状态
启动后通过JPS查看启动进程
##### 2.3.12 查看日志
```sh
# 查看nameServer日志
tail -500f ~/logs/rocketmqlogs/namesrv.log
# 查看broker日志
tail -500f ~/logs/rocketmqlogs/broker.log
## 三、docker的安装方式
1、创建namesrv服务
a、创建挂载存储路径
mkdir -p /mount/data1/rocketmq5.3.2/namesrv/logs /mount/data1/rocketmq5.3.2/namesrv/store
#### b、启动namesrv容器
docker run -d --restart=always --name rmqnamesrv -p 9876:9876 \
-v /mount/data1/rocketmq5.3.2/namesrv/logs:/home/rocketmq/logs \
-v /mount/data1/rocketmq5.3.2/namesrv/store:/home/rocketmq/store \
-e "JAVA_OPT_EXT=-Xms512M -Xmx512M -Xmn128m" \
apache/rocketmq:5.3.2 sh mqnamesrv
> sh mqnamesrv:启动namesrv服务
2、创建broker节点
a、创建挂载存储路径
mkdir -p /mount/data1/rocketmq5.3.2/broker/logs /mount/data1/rocketmq5.3.2/broker/store /mount/data1/rocketmq5.3.2/broker/conf
#### b、创建配置文件
vim /mount/data1/rocketmq5.3.2/broker/conf/broker.conf
# 所属集群名称，如果节点较多可以配置多个
brokerClusterName = DefaultCluster
#broker名称，master和slave使用相同的名称，表明他们的主从关系
brokerName = broker-a
#0表示Master，大于0表示不同的slave
brokerId = 0
#表示几点做消息删除动作，默认是凌晨4点
deleteWhen = 04
#在磁盘上保留消息的时长，单位是小时
fileReservedTime = 24
#有三个值：SYNC_MASTER，ASYNC_MASTER，SLAVE；同步和异步表示Master和Slave之间同步数据的机制；
brokerRole = ASYNC_MASTER
#刷盘策略，取值为：ASYNC_FLUSH，SYNC_FLUSH表示同步刷盘和异步刷盘；SYNC_FLUSH消息写入磁盘后才返回成功状态，ASYNC_FLUSH不需要；
flushDiskType = ASYNC_FLUSH
# 设置broker节点所在服务器的ip地址
brokerIP1 = 172.16.10.152
# 磁盘使用达到95%之后,生产者再写入消息会报错 CODE: 14 DESC: service not available now, maybe disk full
diskMaxUsedSpaceRatio=95
mesrvAddr = 172.16.10.152:9876
```
#### c、启动broker容器
> 启动之前需要把执行 chmod -R 777 /mount/data1/rocketmq5.3.2/broker
docker run -d -p 10911:10911 -p 10909:10909 -p 10912:10912 --privileged=true
-v /mount/data1/rocketmq5.3.2/broker/logs:/home/rocketmq/logs
-v /mount/data1/rocketmq5.3.2/broker/store:/home/rocketmq/store
-v /mount/data1/rocketmq5.3.2/broker/conf:/home/rocketmq/conf
--name rmqbroker --link rmqnamesrv:namesrv -e "NAMESRV_ADDR=namesrv:9876"
-e "JAVA_OPT_EXT=-Xms512M -Xmx512M -Xmn128M" apache/rocketmq:5.3.2
sh mqbroker --enable-proxy autoCreateTopicEnable=true -c /home/rocketmq/conf/broker.conf
> -e “MAX_POSSIBLE_HEAP=200000000” rocketmqinc/rocketmq sh mqbroker:指定broker服务的最大堆内存
> sh mqbroker -c /opt/rocketmq-4.4.0/conf/broker.conf:指定配置文件启动broker节点
### 3、创建rockermq-console服务(监控服务)
#### 启动namesrv容器
docker run -d --restart=always -m 600M --name rmqadmin
-e "JAVA_OPTS=-Drocketmq.namesrv.addr=xxxx:9876
-Dcom.rocketmq.sendMessageWithVIPChannel=false"
-p 8090:8080 pangliang/rocketmq-console-ng
> -Dcom.rocketmq.sendMessageWithVIPChannel=false:不使用vip通道发送消息
## 四、集群监控平台搭建
### 1、概述
`RocketMQ`有一个对其扩展的开源项目[incubator-rocketmq-externals](https://github.com/apache/rocketmq-externals)，这个项目中有一个子模块叫`rocketmq-console`，这个便是管理控制台项目了，先将[incubator-rocketmq-externals](https://github.com/apache/rocketmq-externals)拉到本地，因为我们需要自己对`rocketmq-console`进行编译打包运行。
### 2、下载并编译打包
```sh
git clone https://github.com/apache/rocketmq-externals
cd rocketmq-console
mvn clean package -Dmaven.test.skip=true
```
> 已经打包好的百度网盘地址：https://pan.baidu.com/s/1y_w8ynnoInKWw-lz2Csz9Q 提取码：9g3i
> 启动的命令：
启动rocketmq-console：
```sh
nohup java -jar rocketmq-console.jar --server.port=8080 --rocketmq.config.namesrvAddr=172.16.20.156:9876 &
```
启动成功后，我们就可以通过浏览器访问`http://localhost:8080`进入控制台界面了，如下图：
集群状态：
## 五、测试RocketMQ
### 1、发送消息
```sh
# 1.设置环境变量
export NAMESRV_ADDR=localhost:9876
# 2.使用安装包的Demo发送消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer
### 2、接收消息
# 1.设置环境变量
export NAMESRV_ADDR=localhost:9876
# 2.接收消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer
## 六、关闭RocketMQ
# 1.关闭NameServer
sh bin/mqshutdown namesrv
# 2.关闭Broker
sh bin/mqshutdown broker
## 七、mqadmin管理工具
1、 使用方式
进入RocketMQ安装位置，在bin目录下执行./mqadmin {command} {args}
### 2、 命令
1) Topic相关
<table border=0 cellpadding=0 cellspacing=0 width=714>
#### 2) 集群相关
<table border=0 cellpadding=0 cellspacing=0 width=714>
#### 3) Broker相关
<table border=0 cellpadding=0 cellspacing=0 width=714>
#### 4) 消息相关
<table border=0 cellpadding=0 cellspacing=0 width=714>
#### 5) 消费者、消费组相关
<table border=0 cellpadding=0 cellspacing=0 width=714>
#### 6) 连接相关
<table border=0 cellpadding=0 cellspacing=0 width=714>
#### 7) NameServer相关
<table border=0 cellpadding=0 cellspacing=0 width=714>
#### 8) 其他
<table border=0 cellpadding=0 cellspacing=0 width=714>
### 3、 注意事项
- 几乎所有命令都需要配置-n表示NameServer地址，格式为ip:port
- 几乎所有命令都可以通过-h获取帮助
- 如果既有Broker地址（-b）配置项又有clusterName（-c）配置项，则优先以Broker地址执行命令；如果不配置Broker地址，则对集群中所有主机执行命令
注意：本文归作者所有，未经作者允许，不得转载
