Spring中基于redis stream 的消息队列实现方法

     本文主要介绍了消息队列的概念性质和应用场景,介绍了kafka、rabbitMq常用消息队列中间件的应用模型及消息队列的实现方式,并实战了在Spring中基于redis stream 的消息队列实现方法。

一、消息队列

      消息队列是一种进程间通信或者同一个进程中不同线程间的通信方式,主要解决异步处理、应用耦合、流量消峰、负载均衡等问题,实现高性能、高可用、可伸缩和最终一致性架构,是大型分布式系统不可缺少的中间件。

1、异步处理

收到订单消息后,各子系统(库存、支付、消息)可以同步进行。

2、应用解耦

收到订单消息后,各子系统(库存、支付、消息)可以不用被调用或按顺序进行,解决调用失败造成的数据错误

3、流量削峰

在应用和数据库操作之间设置消息队列,消息队列配置请求最大数(低于数据库最大并发数),避免数据库超负荷运行。

4、负载均衡

Kafka、rabbitMq等支持主从架构,在多台服务器进行同步和自动选主。

二、消息队列实现方法

1、四大类方法

内存队列:消息队列通常在内存中实现

文件系统队列:消息可以被写入到文件系统中,持久化存储消息,但需要额外的磁盘空间和I/O操作。

数据库队列:消息可以被添加到数据库的特定表中,然后由另一个进程或线程从表中读取并处理。例如redis、tdengine都可以实现

消息队列中间件:如RabbitMQ、 Kafka等

2、kafka概念

Kafka 的核心架构由以下几个主要组件组成:

  1. Producer(生产者):发送消息的一方,负责发布消息到 Kafka 主题(Topic)。
  2. Consumer(消费者):接受消息的一方,订阅主题并处理消息。
  3. Broker(代理):服务代理节点,Kafka 集群中的一台服务器就是一个 broker,可以水平无限扩展,同一个 Topic 的消息可以分布在多个 broker 中。
  4. Topic(主题):Kafka 中的消息以 Topic 为单位进行划分,生产者将消息发送到特定的 Topic,而消费者负责订阅 Topic 的消息并进行消费。
  5. Partition(分区):主题的物理分片,提高了并行处理能力。
  6. Replica(副本):副本,是 Kafka 保证数据高可用的方式,Kafka 同一 Partition 的数据可以在多 Broker 上存在多个副本,通常只有主副本对外提供读写服务,当主副本所在 broker 崩溃或发生网络一场,Kafka 会在 Controller 的管理下会重新选择新的 Leader 副本对外提供读写服务。
<think>嗯,用户想了解在Spring Boot中使用Redis Stream实现消息队列的示例教程。首先,我需要回忆一下Redis Stream的相关知识,以及如何在Spring Boot中集成它。记得Redis StreamRedis 5.0引入的数据结构,支持消息持久化和消费者组,适合作为消息队列使用。 首先,用户可能需要先配置环境,比如添加依赖。根据引用[3],需要引入Spring Boot的Redis starter依赖。所以应该先检查pom.xml中的依赖是否正确,比如spring-boot-starter-data-redis。 然后配置Redis连接信息,比如在application.yml中设置host和port。接下来,创建RedisTemplate或者StringRedisTemplate的Bean,不过可能Spring Boot已经自动配置了,但用户可能需要自定义配置,比如设置序列化方式。 接下来是具体的代码实现。生产者部分,需要使用XADD命令来添加消息到Stream中。在Spring Data Redis中,可能通过redisTemplate.opsForStream().add()方法实现。需要指定Stream的key、消息体的字段和值。 消费者部分比较复杂,因为涉及到消费者组的创建和消息的读取。根据引用[4],可以手动创建消费者组,或者在代码中调用createGroup方法。可能需要使用StreamMessageListenerContainer来监听消息,并处理接收到的消息。 需要注意的地方包括消费者组的初始化,确保在应用启动时创建消费者组,避免重复创建导致的错误。另外,消息确认机制也很重要,处理完消息后需要调用acknowledge方法进行确认,防止消息被重复消费。 示例代码可能需要分为配置类、生产者服务类、消费者配置类以及测试部分。在配置类中设置Redis连接和模板;生产者服务提供发送消息的方法;消费者配置类里设置监听容器,并定义消息处理的逻辑。 用户可能还会关心如何测试整个流程,比如发送消息后如何验证消费者是否接收到。可能需要编写一个Controller来触发消息发送,并通过日志查看消费者的处理情况。 另外,根据引用[3]和引用[4],使用Redis Stream相比List和发布/订阅模型的优势在于持久化和消费者组支持,适合需要可靠消息传递的场景。不过也要提醒用户,Redis作为消息队列在消息量大的情况下可能不如专业的消息中间件,需要根据实际需求选择。 最后,需要确保示例中的代码符合最佳实践,比如异常处理、资源清理等。同时,检查LaTeX格式是否正确,行内公式用$...$,独立公式用$$...$$,并生成相关问题供用户进一步学习。</think>### Spring Boot + Redis Stream 消息队列实现步骤 #### 一、环境准备 1. 添加依赖(需与引用[3]保持一致): ```xml <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency> ``` 2. 配置`application.yml`: ```yaml spring: redis: host: 127.0.0.1 port: 6379 password: stream: key: redis-stream-01 # 自定义Stream名称 ``` #### 二、核心代码实现 1. **生产者服务**: ```java @Service public class StreamProducer { @Autowired private StringRedisTemplate redisTemplate; public void sendMessage(Map<String, String> message) { // 使用Spring Data RedisStream操作API RecordId recordId = redisTemplate.opsForStream() .add(StreamRecords.newRecord() .ofStrings(message) .withStreamKey("redis-stream-01")); System.out.println("消息ID:" + recordId); } } ``` 2. **消费者组初始化**(引用[4]实现方式): ```java @Configuration public class RedisConfig { @Autowired private RedisConnectionFactory redisConnectionFactory; @Bean public StreamMessageListenerContainer<String, ObjectRecord<String, String>> listenerContainer() { // 创建消费者组(需确保只初始化一次) RedisTemplate<String, String> redisTemplate = new RedisTemplate<>(); redisTemplate.setConnectionFactory(redisConnectionFactory); redisTemplate.afterPropertiesSet(); redisTemplate.opsForStream().createGroup("redis-stream-01", "group-a"); // 配置监听容器 StreamMessageListenerContainer.StreamMessageListenerContainerOptions<String, ObjectRecord<String, String>> options = StreamMessageListenerContainer.StreamMessageListenerContainerOptions .builder() .pollTimeout(Duration.ofSeconds(1)) .build(); return StreamMessageListenerContainer.create(redisConnectionFactory, options); } } ``` 3. **消息监听处理器**: ```java @Component public class StreamConsumer implements ApplicationRunner { @Autowired private StreamMessageListenerContainer<String, ObjectRecord<String, String>> listenerContainer; @Override public void run(ApplicationArguments args) { listenerContainer.receive(Consumer.from("group-a", "consumer-1"), StreamOffset.create("redis-stream-01", ReadOffset.lastConsumed()), message -> { // 处理消息逻辑 System.out.println("收到消息:" + message.getValue()); // 消息确认(ACK) listenerContainer.getContainerOptions().getStreamOperations() .acknowledge("redis-stream-01", "group-a", message.getId()); }); listenerContainer.start(); } } ``` #### 三、测试验证 1. 发送测试消息: ```java @RestController public class TestController { @Autowired private StreamProducer producer; @GetMapping("/send") public String sendMsg() { Map<String, String> msg = new HashMap<>(); msg.put("orderId", "1001"); msg.put("amount", "299.00"); producer.sendMessage(msg); return "消息已发送"; } } ``` 2. 通过Redis-cli查看消息: ```shell XREAD COUNT 10 STREAMS redis-stream-01 0 ``` #### 四、关键特性说明 1. **消息持久化**:Redis Stream使用$radix$树结构存储消息,所有消息永久保存[^3] 2. **消费组特性**: - 支持多个独立消费者组 - 通过`XACK`实现消息确认 - 消息消费进度通过$last_delivered_id$维护[^4] 3. **性能指标**:单节点吞吐量可达$10^4$级别QPS
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值