Kafka中的Producer和Consumer有什么作用？

最新推荐文章于 2025-02-11 09:52:02 发布

原创最新推荐文章于 2025-02-11 09:52:02 发布 · 437 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #java #分布式

本文介绍了Kafka的Producer和Consumer组件。Producer负责将消息发送到主题，并按分区策略分配。Consumer则订阅并消费主题中的消息。文章提供了Java编写Producer和Consumer的示例代码，并解释了它们在消息处理系统中的作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、Producer

Kafka是一个分布式的流处理平台，它的核心是消息系统。Producer是Kafka中用来将消息发送到Broker的组件之一。它将消息发布到主题（topic），并且负责按照指定的分区策略将消息分配到对应的分区中。

下面是使用Java语言编写的Kafka Producer示例代码：

import org.apache.kafka.clients.producer.*;

import java.util.Properties;

public class MyKafkaProducer {

    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092"); // Kafka集群地址
        props.put("acks", "all"); // 所有副本都响应了才认为发送成功
        props.put("retries", 0); // 发送失败时重试次数
        props.put("batch.size", 16384); // 缓冲区大小
        props.put("linger.ms", 1); // 延迟1ms发送以便等待更多的消息
        props.put("buffer.memory", 33554432); // 缓存总量

        // key和value序列化方式，这里使用默认的StringSerializer
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        Producer<String, String> producer = new KafkaProducer<>(props);

        for (int i = 0; i < 10; i++) {
            producer.send(new ProducerRecord<>("test_topic", Integer.toString(i), "hello world" + i));
        }

        producer.close();

    }
}

上述代码中，我们先设置了Kafka集群地址、消息确认方式等参数。然后使用这些参数创建一个KafkaProducer实例，并通过send方法发送消息到指定的主题。在这个例子中，我们将10条带有字符串"hello world"的消息发送到名为"test_topic"的主题中。最后别忘了关闭producer连接。

二、Consumer

Kafka是一个分布式流媒体平台，其中Consumer是Kafka中消费数据的组件之一。Kafka Consumer可以订阅一个或多个Topic，并从这些Topic中消费消息。Kafka Consumer可以以不同的方式处理消息，例如将其写入到数据库、打印出来或进行其他自定义处理。

Kafka Consumer使用一组API来与Kafka Broker通信，并接收Broker返回的数据。在接收到数据后，Consumer会将其提交给应用程序，由应用程序进一步处理。

以下是一个使用Java编写的Kafka Consumer样例代码：

import org.apache.kafka.clients.consumer.Consumer;
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.serialization.StringDeserializer;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class KafkaConsumerExample {

    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "test-group");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());

        Consumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList("test-topic"));

        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("Received message: key=%s value=%s%n", record.key(), record.value());
            }
        }
    }
}

在这个样例代码中，我们首先创建了一个Properties对象，其中包含连接Kafka Broker所需的配置信息。然后，我们创建了一个Kafka Consumer实例，并订阅了名为“test-topic”的Topic。最后，在while循环中，我们使用poll()方法从Broker获取消息，并在控制台上打印出每条消息的键和值。