Apache Kafka 使用详解

引言

Apache Kafka 是一个分布式流处理平台，由LinkedIn开发，后成为Apache软件基金会下的一个顶级项目。它主要用于构建实时数据管道和流应用程序。Kafka 以其高吞吐量、可扩展性、持久性和容错性而闻名，被广泛应用于日志收集、消息系统、用户行为追踪、实时数据分析等领域。

官网链接

Apache Kafka 官网

Kafka 原理

核心概念

• Broker：Kafka 集群中的一个或多个服务器，用于存储消息。
• Topic：消息的分类，生产者向特定主题发送消息，消费者从特定主题订阅消息。
• Partition：Topic 的物理分区，每个Partition 是一个有序的、不可变的消息序列，可以分布在多个Broker上。
• Producer：消息生产者，负责向Kafka集群发送消息。
• Consumer：消息消费者，从Kafka集群订阅并消费消息。
• Consumer Group：消费者组，同一个组内的消费者共同消费一个Topic的不同分区，实现负载均衡和容错。

工作原理

Kafka 通过分区和副本机制实现高吞吐量和数据可靠性。生产者发送消息到指定的Topic，Kafka根据分区规则（如轮询、随机、基于key的哈希等）将消息分配到不同的Partition中。每个Partition有多个副本，以提高数据的可用性和容错性。消费者通过订阅Topic并从其分配的Partition中读取消息来消费数据。

基础使用

安装与启动

1. 下载Kafka并解压。
2. 配置server.properties（如设置broker.id、listeners等）。
3. 启动ZooKeeper（Kafka依赖ZooKeeper进行集群管理）。
4. 启动Kafka Server。

生产者示例

使用Kafka自带的命令行工具发送消息：

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
> Hello Kafka

消费者示例

使用Kafka自带的命令行工具消费消息：

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

高级使用

Kafka Streams

Kafka Streams 是一个用于构建实时流处理应用程序的客户端库，它允许开发者以声明式的方式处理Kafka中的数据流。

示例：单词计数

import org.apache.kafka.streams