Kafka安装配置(zookeeper+kafka)

最新推荐文章于 2025-06-16 16:51:22 发布
原创 最新推荐文章于 2025-06-16 16:51:22 发布 · 3.5k 阅读 · 38 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #zookeeper #分布式

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。

环境说明：

服务端登录地址详见各任务服务端说明。
补充说明：宿主机可通过Asbru工具或SSH客户端进行SSH访问；
相关软件安装包在宿主机的/opt目录下，请选择对应的安装包进行安装，用不到的可忽略；
所有任务中应用命令必须采用绝对路径；
进入Master节点的方式为
docker exec -it master /bin/bash
进入Slave1节点的方式为
docker exec -it slave1 /bin/bash
进入Slave2节点的方式为
docker exec -it slave2 /bin/bash
三个容器节点的root密码均为123456

 提前准备好apache-zookeeper-3.5.7-bin.tar.gz、kafka_2.12-2.4.1.tgz放在宿主机的/opt/下（模拟的自己准备，比赛时会提供）

Hadoop 完全分布式安装配置

 环境搭建请看这篇文章大数据模块A环境搭建
前提条件已经在容器里搭建完hadoop了,没搭建的请看这篇Hadoop 完全分布式安装配置

 

Kafka安装配置

本任务需要使用root用户完成相关配置，需要配置前置环境，具体要求如下：
1、 从宿主机/opt目录下将文件apache-zookeeper-3.5.7-bin.tar.gz、kafka_2.12-2.4.1.tgz复制到容器Master中的/opt/software路径中（若路径不存在，则需新建），将Master节点Zookeeper，Kafka安装包解压到/opt/module目录下，将Kafka解压命令复制并粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下；
第一步：从宿主机/opt目录下将文件apache-zookeeper-3.5.7-bin.tar.gz、kafka_2.12-2.4.1.tgz复制到容器Master中的/opt/software路径中（若路径不存在，则需新建）
[root@Bigdata ~]# docker cp /opt/apache-zookeeper-3.5.7-bin.tar.gz master:/opt/software/
[root@Bigdata ~]# docker cp /opt/kafka_2.12-2.4.1.tgz master:/opt/software/
第二步：将Master节点Zookeeper，Kafka安装包解压到/opt/module目录下
[root@master ~]# tar zxvf /opt/software/apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/

[root@master ~]# tar zxvf /opt/software/kafka_2.12-2.4.1.tgz -C /opt/module/

        重命名

[root@master ~]# mv /opt/module/apache-zookeeper-3.5.7-bin /opt/module/zookeeper
[root@master ~]# mv /opt/module/kafka_2.12-2.4.1 /opt/module/kafka
2、 配置好ZooKeeper，其中ZooKeeper使用集群模式，分别将Master、slave1、slave2作为其节点（若ZooKeeper已安装配置好，则无需再次配置），配置好Kafka的环境变量，使用kafka-server-start.sh --version查看Kafka的版本内容，并将命令和结果截图粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下；
第一步：配置好ZooKeeper，其中ZooKeeper使用集群模式，分别将Master、slave1、slave2作为其节点（若ZooKeeper已安装配置好，则无需再次配置）
1.修改文件名
[root@master ~]# mv /opt/module/zookeeper/conf/zoo_sample.cfg /opt/module/zookeeper/conf/zoo.cfg
2.配置zoo.cfg
[root@master ~]# vi /opt/module/zookeeper/conf/zoo.cfg
dataDir=/opt/module/zookeeper/data
datdLogDir=/opt/module/zookeeper/logs

server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

代码位置如图：

3.创建目录
[root@master ~]# mkdir /opt/module/zookeeper/data
[root@master ~]# mkdir /opt/module/zookeeper/logs
4.添加myid文件到data里（里面就填一个数字，master填1，slave1填2，slave2填2）
[root@master ~]# vi /opt/module/zookeeper/data/myid

5.把配置好的zookeeper分发到子节点去
[root@master ~]# scp -r /opt/module/zookeeper slave1:/opt/module/
[root@master ~]# scp -r /opt/module/zookeeper slave2:/opt/module/
6.修改子节点的myid
vi /opt/module/zookeeper/data/myid

第二步：配置好Kafka的环境变量
#ZOOKEEPER_HOME
export ZOOKEEPER_HOME=/opt/module/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin
#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin
将环境变量分发给子节点
[root@master ~]# scp /etc/profile slave1:/etc/
[root@master ~]# scp /etc/profile slave2:/etc/
使环境变量生效
[root@master ~]# source /etc/profile
[root@slave1 ~]# source /etc/profile
[root@slave2 ~]# source /etc/profile
第三步：使用kafka-server-start.sh --version查看Kafka的版本内容
[root@master ~]# kafka-server-start.sh --version

3、 完善其他配置并分发Kafka文件到slave1、slave2中，并在每个节点启动Kafka，创建Topic，其中Topic名称为installtopic，分区数为2，副本数为2，将创建命令和创建成果截图粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下。
第一步：完善其他配置并分发Kafka文件到slave1、slave2中
1.完善其他配置（以下配置基于server.properties文件）
vi /opt/module/kafka/config/server.properties

1.1修改broker.id（master为1 slave1为2 slave2为3）

1.2设置存放日志的地方

log.dirs=/opt/module/kafka/logs

1.3配置连接Zookeeper集群地址

zookeeper.connect=master:2181,slave1:2181,slave2:2181

2.分发Kafka文件到slave1、slave2中

2.1分发

[root@master ~]# scp -r /opt/module/kafka slave1:/opt/module
[root@master ~]# scp -r /opt/module/kafka slave2:/opt/module

2.2修改save* 的 broker.id

2.2.1slave1

[root@slave1 ~]# vi /opt/module/kafka/config/server.properties

2.2.2slave2

[root@slave2 ~]# vi /opt/module/kafka/config/server.properties

第二步：并在每个节点启动Kafka（和zookeeper）
1.启动zookeeper(每个节点都启动)
[root@master ~]# zkServer.sh start
[root@slave1 ~]# zkServer.sh start
[root@slave2 ~]# zkServer.sh start
2.启动kafka(每个节点都启动)
[root@master ~]# kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties 
[root@slave1 ~]# kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties 
[root@slave2 ~]# kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties
第三步：创建Topic，其中Topic名称为installtopic，分区数为2，副本数为2
1.创建Topic，在 master 节点执行以下命令：
kafka-topics.sh --create \
    --bootstrap-server master:9092 \
    --replication-factor 2 \
    --partitions 2 \
    --topic installtopic

 

参数说明

  • --bootstrap-server <broker_list>: 替换为 Kafka 集群的 broker 地址（例如 localhost:9092）。

  • --replication-factor 2: 副本数设置为 2。

  • --partitions 2: 分区数设置为 2。

  • --topic installtopic: Topic 名称为 installtopic。

第四步：将创建命令和创建成果截图
1.验证创建成果
[root@master ~]# kafka-topics.sh --describe --bootstrap-server master:9092 --topic installtopic
2.成果截图

END

一键三连是我写文章的动力！

声明：此文章为个人学习笔记，如文章有问题欢迎留言探讨，也希望您的指正 ！

Kafka 安装与配置
码农架构
01-28 1万+
本节详细介绍 Kafka 运行环境的搭建，为了节省篇幅，本节的内容以 Linux CentOS 作为安装演示的操作系统，其他 Linux 系列的操作系统也可以参考本节的内容。具体的操作系统的信息如下： [root@node1 ~]# uname -a Linux node1 2.6.32-504.23.4.el6.x86_64 #1 SMP Tue Jun 9 20:57:37 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux [root@node1 ~]# cat /et
zookeeper+Kafka部署
m0_73679210的博客
12-27 1054
一、zookeeper简介 中间件常见的消息队列 / 消息中间件：1.1 zookeeper的概述ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。解决死锁例如：堵车。
kafka安装及配置
Qynwang的博客
05-10 3476
如果想要搭建集群的话，需要对于其他的虚拟机节点也按照上述方法执行安装，只是其中配置文件里的 broker.id=0 的值需要修改一下，每个节点必须保证不一样。上传到 linux 下的 /home/software/ 目录下，然后解压 kafka_2.13-3.2.1.tgz 包到/usr/local/如果提示权限不够，可以使用 chmod kafka-manager 修改权限。以配置文件的方式启动，后面的 & 表示后台启动。我这里下载的是 3.2.1 版本。
Spring Boot集成Kafka全攻略：从基础配置到高级实践
最新发布
qq_42773076的博客
06-16 1054
在分布式系统开发中，消息队列是实现系统解耦、异步通信的关键组件，Apache Kafka 凭借其高吞吐量、高可靠性和可扩展性备受青睐。将Kafka集成到Spring Boot项目中，能够快速构建稳定高效的消息处理系统。本文将从依赖添加、配置编写、功能实现等多个维度，深入讲解Spring Boot与Kafka的集成。在文件中添加以下依赖，引入Spring Kafka相关组件以及测试依赖： 二、配置文件 2.1 YAML配置示例 2.2 Properties配置示例 三、核心功能实现 3.1 消息模型 定义
kafka安装配置及使用
行东的bug博客笔记
04-17 1702
Kafka 是一个分布式流处理平台和消息队列系统，最初由 LinkedIn 公司开发并开源。它设计用于htt处理大规模的实时数据流，并具有高可扩展性、高吞吐量和持久性等特性。以下是 Kafka 的一些主要特点和用途：分布式架构：Kafka 是一个分布式系统，可以运行在多个服务器上组成的集群中。这个集群可以被扩展到数百台服务器上，以处理大量的数据和客户端。发布-订阅模型：Kafka 使用发布-订阅模型来处理消息。消息生产者将消息发布到一个或多个主题（Topics）中，而消息消费者则通过订阅这些主题来接收消息。
kafka安装配置
liangjianyong的博客
11-06 567
kafka安装可参照官网：http://kafka.apache.org/documentation  一、单节点安装  1. 解压 tar -xzf kafka_2.10-0.8.1.1.tgz -C /usr/cloud/kafka sudo vim /etc/profile export JAVA_HOME=/usr/cloud/java/jdk1.
zookeeper与kafka安装
君君的专栏
11-21 1568
AMQP协议 kafka是基于仿AMQP协议开发的，AMQP协议模型如下： 基本概念： 消费者（consumer）：从消息队列中请求消息的客户端应用程序 生产者（producer）：想broker发布消息的客户端应用程序 AMQP服务端（broker）：用来接收生产者发送的消息并将这些消息路由给服务器中的队列 主题（topic）：类似新闻中的分类概念，在实际开发中通常一个业务一个主题 分区（pa
kafka2.4.0+zookeeper+kafka-connect集成环境包
03-18
然后，配置Kafka的配置文件，如server.properties，指定ZooKeeper连接、broker ID、日志存储路径等参数。接着，启动ZooKeeper服务，然后启动Kafka。Kafka Connect的配置则通常涉及到创建连接器配置，定义数据源或...
Hadoop+Hive+Spark+Kafka+Zookeeper+Flume+Sqoop+Azkaban+Scala
05-05
基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作 分区表和分桶表 视图和索引 常用 DML 操作 数据查询详解 三、Spark ...
zookeeper+kafka消息队列群集部署
weixin_73188318的博客
07-15 1933
基本概念ZooKeeper是一个开源的分布式协调服务，由Apache软件基金会开发。它主要用于维护配置信息、命名、提供分布式同步和提供组服务等。主要特点原子性：ZooKeeper的更新操作是原子的，即要么成功，要么失败，不会出现部分成功的情况。持久性：一旦数据被创建，它就会一直存在，直到被显式地删除。顺序性：ZooKeeper为每一个更新操作提供一个唯一的时间戳（ZXID），从而保证了操作的顺序性。架构ZooKeeper的架构包括客户端（Client）和服务器（Server）两部分。
部署zookeeper+kafka
刘某的博客
04-25 1462
简述二进制和docker的方式部署zookeeper+kafka.
Kafka的安装与配置
热门推荐
xiaozhang的博客
10-06 1万+
设置环境变量ZOO_LOG_DIR，指定Zookeeper保存日志的位置；2.1、上传zookeeper-3.4.14.tar.gz到服务器。ZOOKEEPER_PREFIX指向Zookeeper的解压目录；3.8、此时Kafka是前台模式启动，要停止，使用Ctrl+C。# 复制zoo_sample.cfg命名为zoo.cfg。.apache.org/downloads下载。3.9、 验证kafka是否可以正常使用。1.3、查看zookeeper的启动信息。
kafka安装配置(超详细，傻瓜式安装)
2301_77578187的博客
01-16 5687
数据存放位置，每个节点一个如/kafka-logs-1，/kafka-logs-2，/kafka-logs-3等，不同节点使用文件不可重复，如果重复了容易启动失败。在每个节点启动Kafka，创建topic，其中toipic名称为installtopic，分区数为2，副本数为2。修改bigdata2和bigdata3中的zookeeper下的data中myid的值分别改为3和4。#对外的ip及端口，端口号每个文件不要用同一个，我使用的分别是9091,9092,9093。配置好kafka的环境变量。
Kafka新手指南，轻松安装和配置！
真心喜欢你吖研发工程师，记录学习笔记、问题解决方案、知识总结、知识分享；冲鸭！
09-21 1450
它可以订阅感兴趣的主题，从分配的分区中拉取消息，并根据需要进行消费位移的管理和提交。Consumer 可以根据自身需求消费 Kafka 集群中的消息。文件中设置一些默认的Producer和Consumer配置项，例如，指定连接的Kafka集群地址、设置消息确认机制等。在完成Kafka的配置后，我们就可以启动Kafka了。在安装和配置Kafka的过程中，可能会遇到一些常见问题。文件中设置一些默认的Topic配置项，也可以通过命令行工具来创建和配置Topic。则用于从Kafka订阅和接收消息。
Zookeeper以及kafka的安装（Kafka依赖于）
2301_77329325的博客
11-11 604
从名字上直译就是动物管理员，动物指的是 Hadoop 一类的分布式软件，管理员三个字体现了 ZooKeeper 的特点：维护、协调、管理、监控。
安装配置Kafka
weixin_30485291的博客
09-24 124
1,下载kafka安装包,解压缩,tar -zxvf kafka_2.10-0.8.2.1.tgz 2,修改/etc/profile文件,增加KAFKA_HOME变量 3,进入KAFKA_HOME/config目录 (1)修改server.properties文件 broker.id=0 host.name=master(在slave1中,master--...
鉴权kafka安装配置
02-11
### 关于 Kafka 安装配置与鉴权教程 #### 一、Kafka 的安装过程概述 对于 Kafka 的安装，通常会先从官方渠道获取软件包并解压缩至目标服务器上的指定目录。例如，在 Linux 环境下可以执行如下命令来完成这一操作[^4]: ```bash tar -zxvf kafka_2.12-2.5.0.tgz ``` #### 二、启用 SASL/PLAIN 认证机制 为了增强安全性，可以通过设置 ACLs 来控制哪些客户端能够连接到 Kafka 主题以及它们所能执行的操作种类。具体来说，当采用 SASL_PLAINTEXT 协议时，则需按照特定流程来进行权限管理[^2]。 #### 三、利用 Apache Ranger 实现更精细的访问控制 除了内置的安全特性外，还可以借助第三方工具如 Apache Ranger 对 Kafka 进行更加严格的鉴权处理。这涉及到修改 `jaas.conf` 文件中的条目，指明 Kerberos 登录模块的相关参数，从而确保只有经过验证后的请求才被允许继续前进[^3]: ```properties KafkaClient { com.sun.security.auth.module.Krb5LoginModule required useTicketCache=true renewTicket=true serviceName="kafka"; }; ``` 上述方法提供了不同层次上保障数据传输安全性的措施，既包括基础的身份验证也涵盖了细粒度资源级别的许可分配策略。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xfcloud

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值