php 消息丢失、重复消费

最新推荐文章于 2025-08-09 14:59:10 发布

原创最新推荐文章于 2025-08-09 14:59:10 发布 · 380 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#php

PHP语言经典程序100题专栏收录该内容

331 篇文章

订阅专栏

一、成因分析

1. 消息丢失

生产者未持久化消息，服务宕机丢失
消息队列未开启持久化
消费者收到消息但未处理完就宕机，消息被确认（ack）后丢失
网络异常、超时、队列满等

2. 重复消费

消费者处理超时/失败，消息被重新投递
消息未正确ack，队列自动重试
消息队列本身的“至少一次”投递语义
消费者业务未做幂等性处理

二、排查与定位

队列监控：消息堆积、未消费、消费失败、重试次数
日志分析：生产、消费、ack、nack、异常日志
消息ID追踪：每条消息唯一ID，便于排查丢失/重复

三、完整解决方案

1. 防止消息丢失

1.1 生产者端

消息持久化：RabbitMQ/Kafka等支持消息持久化
发送确认机制：RabbitMQ的publisher confirm、Kafka的acks
失败重试：发送失败自动重试

RabbitMQ生产者持久化示例（php-amqplib）：

$msg = new AMQPMessage($data, ['delivery_mode' => 2]); // 2=持久化
$channel->basic_publish($msg, '', 'queue_name');

1.2 队列端

队列持久化：声明队列为持久化
高可用集群：多节点、主从、分区、副本

RabbitMQ持久化队列声明：

$channel->queue_declare('queue_name', false, true, false, false); // 第三个参数true=持久化

1.3 消费者端

手动ack：消费成功后再ack，失败不ack
消费失败nack/requeue：失败时消息重新入队
消费超时/宕机自动重投

RabbitMQ手动ack示例：

$channel->basic_consume('queue_name', '', false, false, false, false, function($msg) {
    try {
        // 业务处理
        $channel->basic_ack($msg->delivery_info['delivery_tag']);
    } catch (Exception $e) {
        $channel->basic_nack($msg->delivery_info['delivery_tag'], false, true); // 重新入队
    }
});

2. 防止重复消费

2.1 消费端幂等性设计

每条消息有唯一ID（如订单号、消息ID、UUID）
消费前先查幂等表/Redis，已处理过的消息直接跳过
业务操作本身要幂等（如扣款、发货、发券等）

PHP幂等消费示例：

$msgId = $msg['id'];
if ($redis->setnx("msg:consumed:$msgId", 1)) {
    $redis->expire("msg:consumed:$msgId", 86400);
    // 业务处理
} else {
    // 已处理，跳过
}