Kafka 之批量消息发送消费

最新推荐文章于 2025-06-23 17:31:08 发布

原创

最新推荐文章于 2025-06-23 17:31:08 发布 · 3.8k 阅读

65 ·

CC 4.0 BY-SA版权

文章标签：

#Kafka #MQ #批量消息 #消息中间件 #Spring Boot #微服务 #kafka

前言：

前面我们分享了 Kafka 的一些基础知识，以及 Spring Boot 集成 Kafka 完成消息发送消费，本篇我们来分享一下 Kafka 的批量消息发送消费。

Kafka 系列文章传送门

Kafka 简介及核心概念讲解

Spring Boot 整合 Kafka 详解

Kafka @KafkaListener 注解的详解及使用

Kafka 客户端工具使用分享【offsetexplorer】

Kafka 之消息同步/异步发送

Kafka 消息批量发送

Kafka 没有提供批量发送消息的 API，Kafka 的方式是提供一个 RecordAccumulator 消息收集器，将发送给同一个 Topic 同一个 Partition 的消息先缓存起来，当其达到某些条件后，才会一次性的将消息提交给 Kafka Broker。

Kafka 消息的批量发送主要跟以下三个参数有关：

batch.size：批量发送消息的大小，默认 16KB，产生的消息达到这个数量后，即刻触发消息批量提交到 Kafka Broker。
buffer.memory：生产者可用于缓冲等待发送到服务器的消息占用的总内存字节数，模式是 32 MB，如果超过这个数量，即刻触发消息批量提交到 Kafka Broker。
linger.ms：批量发送的的最大时间间隔，单位是毫秒，当达到配置的时间之后，会立刻触发消息批量提交大 Kafka Broker。

以上三个条件满足一个就会触发消息的批量提交。

官方文档传送门

Kafka 批量消息参数配置

上面我们分析了 Kafka 没有提供批量发送的 API，而是使用了三个参数来控制批量发送的，换句话说，其实我们每次使用 Kafka 发送消息的时候都是批量发送，Kafka 批量发送消息的代码没有什么特殊之处，只需要对上面解释的三个参数进行按需配置即可，本案例的配置如下：

#批量发送消息的大小 默认 16KB 我们这里为了演示效果 配置为1Kb
spring.kafka.producer.batch-size = 1024
#生产者可用于缓冲等待发送到服务器的消息占用的总内存字节数  默认 32M
spring.kafka.producer.buffer-memory = 33554432
#批量发送的的最大时间间隔，单位是毫秒
spring.kafka.producer.properties.linger.ms=50000

Kafka 批量消息 Producer 代码演示

Kafka 批量发送消息代码如下：

package com.order.service.kafka.producer;

import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.stereotype.Component;

import java.text.SimpleDateFormat;
import java.util.Date;

/**
 * @ClassName： MyKafkaBatchProducer
 * @Author: Author
 * @Date: 2024/10/22 19:22
 * @Description:
 */
@Slf4j
@Component
public class MyKafkaBatchProducer {
   
   

    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;

    public void batchSendMessage() {
   
   
        SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
        String dateStr = sdf.format(new Date