目录

rocketmq概述与快速启动

概述

官方文档

为什么要用mq

消息队列是一种“先进先出”的数据结构,可以将消息中间件想象成一个邮局

http://img.cana.space/picStore/20201124210702.png

rocketmq底层基于netty。

其应用场景主要包含以下3个方面

解耦

不同业务系统,可以是相同语言也可以是不同语言

系统的耦合性越高,容错性就越低。以电商应用为例,用户创建订单后,如果耦合调用库存系统、物流系统、支付系统,任何一个子系统出了故障或者因为升级等原因暂时不可用,都会造成下单操作异常,影响用户使用体验。

http://img.cana.space/picStore/20201124210824.png

使用消息队列解耦合,系统的耦合性就会提高了。比如物流系统发生故障,需要几分钟才能来修复,在这段时间内,物流系统要处理的数据被缓存到消息队列中,用户的下单操作正常完成。当物流系统回复后,补充处理存在消息队列中的订单消息即可,终端系统感知不到物流系统发生过几分钟故障。

http://img.cana.space/picStore/20201124210837.png

再比如数据分发的场景

http://img.cana.space/picStore/20201124211110.png

通过消息队列可以让数据在多个系统更加之间进行流通。数据的产生方不需要关心谁来使用数据,只需要将数据发送到消息队列,数据使用方直接在消息队列中直接获取数据即可

http://img.cana.space/picStore/20201124211144.png

削锋

http://img.cana.space/picStore/20201124210912.png

应用系统如果遇到系统请求流量的瞬间猛增,有可能会将系统压垮。有了消息队列可以将大量请求缓存起来,分散到很长一段时间处理,这样可以大大提高系统的稳定性和用户体验。

http://img.cana.space/picStore/20201124211001.png

一般情况,为了保证系统的稳定性,如果系统负载超过阈值,就会阻止用户请求,这会影响用户体验,而如果使用消息队列将请求缓存起来,等待系统处理完毕后通知用户下单完毕,这样总比不能下单体验要好。

处于经济考量目的:

业务系统正常时段的QPS如果是1000,流量最高峰是10000,为了应对流量高峰配置高性能的服务器显然不划算,这时可以使用消息队列对峰值流量削峰。

异步

提升系统性能,降低响应时间。比如用户使用花呗下单,可以先落一笔支付单据并扣减用户余额返回,再异步对用户的各个账单进行处理(如果此时用户来查询,需要先检查状态,如果未处理则要实时进行处理)。

mq的优点和缺点

优点

解耦、削峰、异步

缺点

  • 系统可用性降低

    系统引入的外部依赖越多,系统稳定性越差。一旦MQ宕机,就会对业务造成影响。所以需要保证mq的高可用性

  • 系统复杂度提高

    MQ的加入大大增加了系统的复杂度,以前系统间是同步的远程调用,现在是通过MQ进行异步调用。

    如何保证消息没有被重复消费?怎么处理消息丢失情况?那么保证消息传递的顺序性?

  • 一致性问题

    A系统处理完业务,通过MQ给B、C、D三个系统发消息数据,如果B系统、C系统处理成功,D系统处理失败。

    如何保证消息数据处理的一致性?

各种mq产品的比较

常见的MQ产品包括Kafka、ActiveMQ、RabbitMQ、RocketMQ。

20201124211715

rocketmq和rabbitmq都支持jms,jms是sun定义出来的消息服务的标准接口,基本上所有的mq产品都支持jms,只不过jms接口调用起来比较麻烦,所以在实际开发的时候用的还是rocketmq最直接的接口,它不遵循哪种特定的协议,但是用起来很简单。

快速启动

RocketMQ是阿里巴巴2016年MQ中间件,使用Java语言开发,在阿里内部,RocketMQ承接了例如“双11”等高并发场景的消息流转,能够处理万亿级别的消息。

准备工作

最新版本:4.5.1

下载地址

安装rocketmq

安装步骤

以二进制包方式安装

  1. 解压安装包
  2. 进入安装目录

目录介绍

  • benchmark 测试脚本
  • bin:启动脚本,包括shell脚本和CMD脚本
  • conf:实例配置文件 ,包括broker配置文件、logback配置文件等
  • lib:依赖jar包,包括Netty、commons-lang、FastJSON等

启动rocketmq

  1. 启动NameServer

    1
    2
    3
    4
    5
    6
    
    # 启动NameServer
    $ nohup ./mqnamesrv &
    # 也可以这样
    $ nohup sh bin/mqnamesrv > /dev/null 2 >&1 &
    # 查看日志
    $ tail -f ~/logs/rocketmqlogs/namesrv.log
    
  2. 启动Broker

    启动broker之前,需要修改一下jvm内存大小,RocketMQ默认的虚拟机内存较大,启动Broker可能会因为内存不足失败,需要编辑如下两个配置文件

    1
    2
    3
    
    # 编辑runbroker.sh和runserver.sh修改默认JVM大小
    vi runbroker.sh
    vi runserver.sh
    

    参考设置:256/256/128

    1
    
    JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
    

    启动broker

    1
    2
    3
    4
    5
    6
    
    # 启动 NameServer默认端口号就是9876
    $ nohup ./mqbroker -n localhost:9876 &
    # 也可以这样
    $ nohup sh bin/mqbroker > /dev/null 2 >&1 &
    # 查看启动日志
    tail -f ~/logs/rocketmqlogs/broker.log 
    
  3. 使用jps查看进程

    1
    2
    3
    4
    5
    
    $ jps
    ...
    50310 NamesrvStartup
    50678 BrokerStartup
    ...
    

测试 rocketmq

使用安装包里的测试脚本进行测试

1
2
3
4
5
6
7
# 发送方发送消息
$ export NAMESRV_ADDR=localhost:9876
# david @ Davids-Macbook-Pro in ~/soft/rocketmq-all-4.4.0-bin-release [22:07:37]
$ sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer

# 2.消费方接收消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer

关闭rocketmq

1
2
$ ./mqshutdown namesrv
$ ./mqshutdown broker