kafka集群之kraft模式部署_kafka kraft 集群部署-CSDN博客

Kafka是一个高吞吐量的分布式消息系统，之前依赖Zookeeper进行集群管理。KRaft模式在Kafka3.x中引入，旨在减少对Zookeeper的依赖，简化部署和管理，提高可扩展性和元数据传播效率。通过这个模式，Kafka能更好地适应小型设备和大规模集群环境。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。其核心组件包含Producer、Broker、Consumer，以及依赖的Zookeeper集群。其中Zookeeper集群是Kafka用来负责集群元数据的管理、控制器的选举等。目前，Kafka在使用的过程当中，会出现一些问题。由于重度依赖Zookeeper集群，当Zookeeper集群性能发生抖动时，Kafka的性能也会收到很大的影响。因此，在Kafka发展的过程当中，为了解决这个问题，kafka3.x开始提供KRaft模式，来取消Kafka对Zookeeper的依赖。那么，kraft模式的优势又有哪些呢？

更简单的部署和管理——通过只安装和管理一个应用程序，Kafka 现在的运营足迹要小得多。这也使得在边缘的小型设备中更容易利用 Kafka；
提高可扩展性——KRaft 的恢复时间比 ZooKeeper 快一个数量级。这使我们能够有效地扩展到单个集群中的数百万个分区。ZooKeeper 的有效限制是数万；
更有效的元数据传播——基于日志、事件驱动的元数据传播可以提高 Kafka 的许多核心功能的性能。

解压缩

tar -zxvf kafka_2.12-3.3.1.tgz

修改配置文件

vim config/kraftserver.properties
#对应节点的id，这里三台节点，分别为1,2，3 <- 根据节点做相应的调整
node.id=1
#集群选举控制器配置
controller.quorum.voters=1@172.17.9.191:9093,2@172.17.9.192:9093,3@172.17.9.193:9093
#监听服务ip端口设置 <- 根据节点做相应的调整
advertised.listeners=PLAINTEXT://172.17.9.191:9092
#设置日志文件存储路径
log.dirs=/xxx/data

分发到对应节点

scp -r kafka_2.12-3.3.1 172.17.9.192:/xxx
scp -r kafka_2.12-3.3.1 172.17.9.193:/xxx

修改其他节点配置

#对应节点的id，这里三台节点，分别为1,2，3
node.id=2
advertised.listeners=PLAINTEXT://172.17.9.192:9092
#对应节点的id，这里三台节点，分别为1,2，3
node.id=3
advertised.listeners=PLAINTEXT://172.17.9.193:9092

生成集群ID

整个集群有一个唯一的ID标志，使用uuid。可使用官方提供的 kafka-storage 工具生成，亦可以自己去用其他生成uuid
bin/kafka-storage.sh random-uuid

格式化存储路径

所有节点执行
bin/kafka-storage.sh format -t fu_Rqt_4SxeMK46nDRSJNA -c config/kraft/server.properties

启功节点服务

在每个节点上启动 Kafka 服务器
bin/kafka-server-start.sh -daemon config/kraft/server.properties
可通过jps查看kafka进程是否已经运行。

验证及测试

创建topic bin/kafka-topics.sh --create --topic First_Kafka_Topic --partitions 1 --replication-factor 3 --bootstrap-server 172.17.9.191:9092,172.17.9.192:9092,172.17.9.193:9092
查看topic列表 bin/kafka-topics.sh --list --bootstrap-server 172.17.9.191:9092,172.17.9.192:9092,172.17.9.193:9092

集群启停脚本

#!/bin/bash
#kafka集群启动脚本
case $1 in
 "start"){
    for i in 172.17.9.191 172.17.9.192 172.17.9.193
    do
       echo "--------启动 $i kafka with kraft-------"
       ssh $i "/home/kafka/bin/kafka-server-start.sh -daemon /home/kafka/config/kraft/server.properties"
    done
};;
"stop"){
    for i in 172.17.9.191 172.17.9.192 172.17.9.193
    do
       echo "------停止 $i kafka--------"
       ssh $i "/home/kafka/bin/kafka-server-stop.sh"
    done
};;
esac