大数据Kafka（三）：Kafka的集群搭建以及shell启动命令脚本编写

已于 2022-10-02 23:42:35 修改
阅读量2.8k 收藏 24
点赞数 27
CC 4.0 BY-SA版权
分类专栏： # Kafka 大数据入门核心技术 文章标签： Kafka的集群搭建 Kafka的启动命令脚本编写 大数据Kafka
于 2021-08-06 23:13:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoweite1/article/details/119464875
本文详细介绍了如何搭建Kafka集群，包括安装包上传、解压、配置server.properties、复制到多台服务器及设置环境变量。此外，还阐述了如何编写Kafka的一键启动和关闭shell脚本，以便简化集群的管理操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

Kafka的集群搭建以及shell启动命令脚本编写

一、搭建Kafka集群

1、 将Kafka的安装包上传到虚拟机，并解压

2、修改 server.properties

3、将安装好的kafka复制到另外两台服务器

4、配置KAFKA_HOME环境变量

5、启动服务器

二、目录结构分析

三、Kafka一键启动/关闭脚本

1、在节点1中创建 /export/onekey 目录

2、准备slave配置文件，用于保存要启动哪几个节点上的kafka

3、编写start-kafka.sh脚本

4、编写stop-kafka.sh脚本

5、给start-kafka.sh、stop-kafka.sh配置执行权限

6、执行一键启动、一键关闭

Kafka的集群搭建以及shell启动命令脚本编写

一、搭建Kafka集群

1、 将Kafka的安装包上传到虚拟机，并解压

cd /export/software/

tar -xvzf kafka_2.12-2.4.1.tgz -C ../server/

cd /export/server/kafka_2.12-2.4.1/

2

了解本专栏 订阅专栏 解锁全文
Kafka系列-1、kafka环境搭建
不积跬步无以至千里，不积小流无以成江河
12-15 1925
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 大数据系列文章目录 kafka的中文网站 目录搭建Kafka集群目录结构分析kafka一键启动/关闭脚本 搭建Kafka集群 1、将Kafka的安装包上传到虚拟机，并解压 cd /export/software/ tar -xvzf kafka_2.12-2.4.1.tgz -C ../server/ cd /export/server/kafka_2.12-2.4.1/ 2、修改 server.pr
大数据Kafka：构建Kafka集群及编写Shell启动命令脚本
BugCrusher的博客
09-18 223
本文介绍了如何构建Kafka集群和编写Shell启动命令脚本。本文将详细介绍如何构建Kafka集群并编写Shell启动命令脚本。在集群中选择一个节点作为Zookeeper的主节点，其他节点作为从节点。为了简化Kafka集群的启动过程，可以编写一个Shell脚本来自动启动所有节点。文件，指定Kafka节点的ID、Zookeeper连接信息和日志存储路径。该脚本将依次启动Zookeeper集群和Kafka集群节点。首先，确保在所有集群节点上安装了Java和Kafka。确保在每个节点上配置了唯一的节点ID。
kafka环境搭建
Terisadeng的博客
05-12 738
一、安装环境要求 1、安装java Kafka和zoopeeper都需要安装java环境，且推荐至少java7及以上版本’ 2、安装zookeeper Zookeeper是kafka集群的必要组件，kafka安装包已经集成了zookeeper，这里选择单独安装zookeeper 3、安装kafka Kafka版本包括使用的scala语言版本和kafka版本，不同版本功能区别还是很大的，...
Windows平台kafka环境的搭建
热门推荐
头发凌乱的小博客
04-19 2万+
注意：请确保本地Java环境变量配置成功1.安装Zookeeper Kafka的运行依赖于Zookeeper，所以在运行Kafka之前我们需要安装并运行Zookeeper 1.1 下载安装文件： http://mirror.bit.edu.cn/apache/zookeeper/ 1.2 解压文件（本文解压到 D:\zookeeper-3.4.8）
KAFKA环境搭建
chuanchenyi的博客
05-13 2936
1.kafka环境搭建： kafka是一个分布式消息系统，由LinkedIn使用Scala编写，用作LinkedIn的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础，具有高水平扩展和高吞吐量。 （1）zookeeper环境部署： kafka是由zookeeper管理的，那么kafka的部署需要在zookeeper安装好之后进行。 安装zookeeper到指定的目录里： tar -zxvf zookeeper-3.4.8.tar.gz mv zookeep
大数据Kafka：构建Kafka集群和编写Shell启动命令脚本
DeoSql的博客
09-23 178
在本文中，我们将详细介绍如何构建Kafka集群并编写Shell启动命令脚本，以便轻松管理和启动Kafka集群。在上面的示例中，你需要定义Kafka节点的主机列表和Kafka的安装目录。脚本将迭代节点列表，通过SSH连接到每个节点，并在后台启动Kafka节点。为了简化Kafka集群的启动过程，可以编写一个Shell脚本来启动所有的Kafka节点。这样，你就可以使用Shell脚本一次性启动整个Kafka集群，而无需手动在每个节点上运行启动命令。脚本将启动所有的Kafka节点，并打印出"Kafka集群启动中…
kafka+zookeeper高可用集群搭建shell使用脚本
02-22
【标题】"kafka+zookeeper高可用集群搭建shell使用脚本"所涉及的知识点主要集中在构建高可用的Kafka和Zookeeper集群上，以及如何利用Shell脚本来自动化这个过程。Kafka是一个分布式流处理平台，而Zookeeper是Apache...
基于ZooKeeper的Kafka分布式集群搭建与集群启动停止Shell脚本
最新发布
AdamShyly的博客
04-03 1011
模式搭建高可用的集群以提高数据处理效率，但是目前还有许多企业依然使用ZooKeeper搭建Kafka集群，所以本文也采用ZooKeeper组件来搭建Kafka分布式集群。以broker ID为0的节点为例，下方是该节点配置Kafka的具体步骤，另外两个broker节点的配置步骤与其一致。下方是Kafka官网下载地址，本文使用。在虚拟机环境中搭建分布式集群。
Kafka的环境搭建
sjw2020的博客
05-27 458
Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。 **Kafka是一个分布式消息队列：生产者、消费者的功能。**它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。 Kafka对消息保存时根据Topic进行归类，发送消息者称为P
Linux启动/停止/重启Mysql数据库的方法
Shanks
10-20 201
以下内容转载自https://www.cnblogs.com/linjiqin/p/3544472.html 1、查看mysql版本 方法一：status; 方法二：select version(); 2、Mysql启动、停止、重启常用命令 a、启动方式 1、使用 service 启动： [root@localhost /]# service mysqld start (5.0版本是mysqld) [root@szxdb etc]# service mysql start (5.5.7版本是mysql.
kafka 集群环境搭建 java
后知后觉
04-03 1312
简单记录下kafka集群环境搭建过程， 用来做备忘录 安装 第一步： 点击官网下载地址 http://kafka.apache.org/downloads.html 下载最新安装包 第二步： 解压 tar xvf kafka_2.12-2.2.0.tgz 第三步： 检查服务器有没有安装zookeeper集群， 没有的话，自行百度补充 第四步：修改config/server.propertie...
Kafka集群的搭建
LBJ_小松鼠的博客
01-09 331
1. Kafka数据模型 2. 搭建Kafka集群 1.将Kafka的安装包上传到虚拟机，并解压 cd /export/software/ tar -xvzf kafka_2.12-2.4.1.tgz -C ../server/ cd /export/server/kafka_2.12-2.4.1/ 2.修改 server.properties cd /export/server/kafka_2.12-2.4.1/config vim server.properties # 指定broker
Linux下Kafka与Zookeeper高可用集群的Shell脚本搭建
从文件描述来看，“kafka+zookeeper高可用集群搭建shell使用脚本”提供了一种通过Shell脚本自动化搭建Kafka和Zookeeper高可用集群的方法。这种方法可以大大简化集群的搭建过程，减少人工配置出错的可能性，并且能够...
评论 41
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Lansonli

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值