RabbitMQ 各种通信模式的Python实现

一、RabbitMQ 原理

1、基本原理

RabbitMQ是流行的开源消息队列系统，用Erlang语言开发。RabbitMQ 遵循AMQP（高级消息队列协议）通信标准。支持多种客户端，如 Python、Java、Javascript、C#、C/C++,Go等，支持AJAX，持久化存储。可用于进程之间、分布式系统、异系统之间通信，是微服务架构中最常用的通信工具之一。

RabbitMQ支持很多通讯协议，包括AMQP 0-9-1、AMQP 1.0、MQTT和STOMP等。默认使用 AMQP 0-9-1 做为网络层协议。

其支持的网络通讯模式包括：

• 生产者–消费者模式
• 任务队列模式
• 发布者–订阅者模式
• 路由模式
• RPC模式

所以，如果你的项目包含多个子系统，需要交换的数据有各种类型，有1对1，1对N通信等各种要求，显然成熟的RabbitMQ是1个非常好的选择。如果需要传输大尺寸图像文件，高实时性场景，建议便用ZeroMQ等低层网络库开发消息队列服务器代码更合适。

2、核心组件包括：

• Exchange（交换机）
• Message Queue（消息队列）
• Binding（绑定）
  

Exchange 交换机类型

• Direct Excnahge直接交换
  基于route key 来将消息发送到queue。主要用于单播
• Fanout Exchange 广播交换
  不使用route key, 而是一些队列会绑定到Fanout, 新消息会被发送到所有绑定的queue, 适用于广播消息。
• Topic Exchange 主题交换
  基于route key 与 匹配pattern ， 将queue绑定到exchange ，
  示例用途：
  分发与特定地理相关的数据 位置，例如销售点
  由多个工作人员完成的后台任务处理， 每个都能够处理特定的任务集
  股票价格更新（以及其他类型的财务数据更新）
  涉及分类或标记的新闻更新 （例如，仅适用于特定运动或团队）
• Headers exchange 消息头交换
  不使用route key, 而是通过message header 来绑定queue 与exchange 。1条queue可以绑定多个header

消息队列 Queue

工作流程
消息队列是FIFO（First In First Out，先进先出）队列，它的作用是：

• 接收消息（from Exchange）
• 保存消息
• 发送消息（to Consumer）

RabbitMQ中Message Queue的基本工作流程是

Queue 的属性

"queues": [
    {
   
   
        "name": "testQueue",
        "vhost": "/",
        "durable": true,
        "auto_delete": false,
        "arguments": {
   
   
            "x-queue-type": "classic"
        }
    }]

Binding 绑定

Exchange和Message Queue并没有存储对方的信息，那么Exchange在转发过程中是如何找到正确的Message Queue的呢？这需要借助Binding组件。

Binding中保存着source和destination属性，可以将交换机作为消息源，交换机/消息队列作为转发地址。当交换机路由消息时，会遍历Binding数组，找到source为自身的绑定关系，判断消息属性是否满足routing_key或arguments进行转发。
主要属性

"bindings": [
    {
   
   
        "source": "amq.headers",
        "vhost": "/",
        "destination": "bigAndBlue",
        "destination_type": "queue",
        "routing_key": "",
        "arguments": {
   
   
            "color": "blue",
            "size": "big",
            "x-match": "all"
        }
    }]

RabbitMQ 其它重要概念：

• Broker：简单来说就是消息队列服务器实体。 Exchange：消息交换机，它指定消息按什么规则，路由到哪个队列。
• Queue：消息队列载体，每个消息都会被投入到一个或多个队列
• Binding：绑定，它的作用就是把exchange和queue按照路由规则绑定起来。
• Routing Key：路由关键字，exchange根据这个关键字进行消息投递。
• vhost：虚拟主机，一个broker里可以开设多个vhost，用作不同用户的权限分离。
• producer：消息生产者，就是投递消息的程序。 consumer：消息消费者，就是接受消息的程序。
• channel：消息通道，在客户端的每个连接里，可建立多个channel，每个channel代表一个会话任务。

二、RabbitMQ 的安装

这里简略介绍Win10下安装 RabbitMQ 3.13.1 的步骤，详细也可参考另1篇介绍安装的文章

1、RabbitMQ安装方式

• Docker 安装方式, 有官方docker image，最方便。
• Linux安装 , Debian或ubuntu
• windows安装，开发环境

当前最新版本 3.13.1, 要求erlang 版本为25.x, 26.x

2、Windows安装步骤

1) 安装 Erlang语言环境

Step-1 从Erlang主页下载26.x 版本。
https://www.erlang.org/downloads

Step-2 下载 windows installer 后安装

step-3 添加环境变量
(1) 新建ERLANG_HOME，指向 erlang安装目录，
(2) 将 %ERLANG_HOME%\bin目录添加至path 系统环境变量。

3、安装 rabbitMQ server.

1） 下载RabbitMQ window installer 安装。
https://www.rabbitmq.com/docs/install-windows

2） 安装后点击安装，系统会自动添加RabbitMQ服务。

3） 按Ctrl+R，输入services, 检查 RabbitMQ 服务是否已启动。

4、基本配置

RabbitMQ 有默认配置。 通常开发环境、单服务器环境下也够用了。
默认配置文件：
windows: C:\users\username\APPDATA\RabbitMQ\rabbitmq.conf,
linux 通常为： /etc/rabbitmq/rabbitmq.conf

RabbitMQ配置较多，如果不熟悉，也可以参考配置文件样例：

• rabbitmq.conf.example

关于配置文件格式，老版本的格已经不支持了。
老版本配置文件使用的格式

%% this is a comment
[
  {
   
   rabbit, [
      {
   
   tcp_listeners, [5673]}
    ]
  }
].

新版本配置文件格式

# this is a comment
listeners.tcp.default = 5673

说明： 每1行配置用 parameter = value 定义。 # 开头为注释

5、命令行工具

RabbitMQ提供了一些命令行工具。在安装目录的 sbin/ 子目录下。如 D:\App\rabbitmq\rabbitmq_server-3.13.1\sbin>，

• rabbitmqctl 管理工具
• rabbitmq-diagnostics 健康检查工具
• rabbitmq-plugins 插件管理

使用管理界面来管理rabbitmq
rabbitmq-plugins enable rabbitmq_management, 运行后，默认管理界面的URL: http://localhost:15672/

6）创建vhost 与 用户

安装后，默认用户/密码：guest/guest, 只能从本机访问，本机测试可以使用guest帐号。如果你的python程序与RabbitMQ不在1台机器上，则需要用上节方法登录rabbitmq 管理界面，创建vhost, 以及用户帐号，添加用户权限( 由于比较简单就不多说了）

也可以用命令行创建
进入安装目录的 sbin\ 目录下，运行

rabbitmqctl add_user myuser mypassword
rabbitmqctl add_vhost myvhost
rabbitmqctl set_user_tags myuser mytag
rabbitmqctl set_permissions -p myvhost myuser ".*" ".*" ".*"

将myuser, mypassword, myvhost 改成你需要的即可。

赋予其administrator角色：
rabbitmqctl set_user_tags user_admin administrator

查看已有用户
rabbitmqctl list_users

三、RabbitMQ 各类通信模式的实现

1、安装 RabbitMQ 客户端连接工具

Step-1 安装RadditMQ 客户端
python -m pip install pika --upgrade

Step-2: 在python代码中导入pika
import pika

Step-3: 创建连接

# 使用默认本地帐号与密码， 否则使用前1章创建的用户名
credentials = pika.PlainCredentials(username="guest", password="guest")

# 创建连接
connect = pika.BlockingConnection(pika.ConnectionParameters(host='localhost', port=5672, virtual_host='/', credentials=credentials))
# 创建1wh channel用于具体网络操作
channel = connect.channel()

2、基本模式：生产者–消费者模式

本例功能需求； 生产者将消息发往Queue, 消费者从queue接收消息

1） 生产者代码实现 producer.py

import pika 

# 首先建立至RabbitMQ 服务器的连接
connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
channel = connection.channel()

# 创建1个 queue
channel.queue_declare(queue='hello')

#Rabbit发送消息，须经过exchage, 本例 使用默认exchange， 使用routing_key=’hello’发送消息。
channel.basic_publish(exchange='',
                      routing_key='hello', # hello为前面创建的queue名字
                      body='Hello World!')
print(" [x] Sent 'Hello World!'")

#发送完成后，即可关闭连接 
connection.close()

2）消费者接收消息代码实现

import pikia 
#建立至rabiitMQ服务器的连接
connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
channel = connection.channel(