kafka集群搭建

最新推荐文章于 2022-12-25 21:47:57 发布
原创 最新推荐文章于 2022-12-25 21:47:57 发布 · 217 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka

前提：1）已经下载了kafka的安装包，并上传到服务器，解压，2）已经安装了zookeeper集群，参考zookeeper集群搭建

1.修改 server.properties

############################# Server Basics #############################

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=2 ##id需要在kafka集群里唯一

############################# Socket Server Settings #############################

# The address the socket server listens on. It will get the value returned from
# java.net.InetAddress.getCanonicalHostName() if not configured.
#   FORMAT:
#     listeners = listener_name://host_name:port
#   EXAMPLE:
#     listeners = PLAINTEXT://your.host.name:9092
listeners=PLAINTEXT://192.168.1.133:9092 ## kafka所在的host IP

....... 省略中间

############################# Log Basics #############################

# A comma separated list of directories under which to store log files
log.dirs=/opt/kafka_2.11-1.1.0/log ## 日志输出的目录，需要创建这个目录

....... 省略中间

############################# Zookeeper #############################

# Zookeeper connection string (see zookeeper docs for details).
# This is a comma separated host:port pairs, each corresponding to a zk
# server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".
# You can also append an optional chroot string to the urls to specify the
# root directory for all kafka znodes.
zookeeper.connect=192.168.1.131:2181,192.168.1.132:2181,192.168.1.133:2181
## 配置zookeeper集群，我这里配置的是单独安装的zookeeper集群，不是kafka自带的

# Timeout in ms for connecting to zookeeper
zookeeper.connection.timeout.ms=6000

2.创建日志目录

至于kafka的日志都保存了哪些，现在还没详细去搞，不太明白

[root@localhost kafka_2.11-1.1.0]# mkdir log

3.启动、验证

[root@localhost kafka_2.11-1.1.0]# bin/kafka-server-start.sh config/server.properties
## 会输出很多内容，等不输出了，敲下回车就可以

[root@localhost kafka_2.11-1.1.0]# ps -ef | grep kafka
root      2130  1558  4 21:15 pts/0    00:02:49 /opt/jdk1.8.0_171/bin/java -Xmx1G -Xms1G -server -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:+ExplicitGCInvokesConcurrent -Djava.awt.headless=true -Xloggc:/opt/kafka_2.11-1.1.0/bin/../logs/kafkaServer-gc.log -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintGCTimeStamps -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=100M -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dkafka.logs.dir=/opt/kafka_2.11-1.1.0/bin/../logs -Dlog4j.configuration=file:bin/../config/log4j.properties -cp .:/opt/jdk1.8.0_171/lib/dt.jar:/opt/jdk1.8.0_171/lib/tools.jar:/opt/jdk1.8.0_171/jre/lib:/opt/kafka_2.11-1.1.0/bin/../libs/aopalliance-repackaged-2.5.0-b32.jar:/opt/kafka_2.11-1.1.0/bin/../libs/argparse4j-0.7.0.jar:/opt/kafka_2.11-1.1.0/bin/../libs/commons-lang3-3.5.jar:/opt/kafka_2.11-1.1.0/bin/../libs/connect-api-1.1.0.jar:/opt/kafka_2.11-1.1.0/bin/../libs/connect-file-1.1.0.jar:/opt/kafka_2.11-1.1.0/bin/../libs/connect-json-1.1.0.jar:/opt/kafka_2.11-1.1.0/bin/../libs/connect-runtime-1.1.0.jar:/opt/kafka_2.11-1.1.0/bin/../libs/connect-transforms-1.1.0.jar:/opt/kafka_2.11-1.1.0/bin/../libs/guava-20.0.jar:/opt/kafka_2.11-1.1.0/bin/../libs/hk2-api-2.5.0-b32.jar:/opt/kafka_2.11-1.1.0/bin/../libs/hk2-locator-2.5.0-b32.jar:/opt/kafka_2.11-1.1.0/bin/../libs/hk2-utils-2.5.0-b32.jar:/opt/kafka_2.11-1.1.0/bin/../libs/jackson-annotations-2.9.4.jar:/opt/kafka_2.11-1.1.0/bin/../libs/jackson-core-2.9.4.jar:/opt/kafka_2.11-1.1.0/bin/../libs/jackson-databind-2.9.4.jar:/opt/kafka_2.11-1.1.0/bin/../libs/jackson-jaxrs-base-2.9.4.jar:/opt/kafka_2.11-1.1.0/bin/../libs/jackson-jaxrs-json-provider-2.9.4.jar:/opt/kafka_2.11-1.1.0/bin/../libs/jackson-module-jaxb-annotations-2.9.4.jar:/optkafka_2.11-1.1.0/bin/../libs/javassist-3.20.0-GA.jar:/opt/kafka_2.11-1.1.0/bin/../libs/javassist-3.21.0-GA.jar:/opt/kafka_2.11-1.1.0/bin/../libs/javax.annotation-api-1.2.jar:/opt/kafka_2.11-1.1.0/bin/../libs/javax.inject-1.jar:/opt/kafka_2.11-1.1.0/bin/../libs/javax.inject-2.5.0-b32.jar:/opt/kafka_2.11-1.1.0/bin/../libs/javax.servlet-api-3.1.0.jar:/opt/kafka_2.11-1.1.0/bin/../libs/javax.ws.rs-api-2.0.1.jar:/opt/kafka_2.11-1.1.0/bin/../libs/jersey-client-2.25.1.jar:/opt/kafka_2.11-1.1.0/bin/../libs/jersey-common-2.25.1.jar:/opt/kafka_2.11-1.1.0/bin/../libs/jersey-container-servlet-2.25.1.jar:/opt/kafka_2.11-1.1.0/bin/../libs/jersey-container-servlet-core-2.25.1.jar:/opt/kafka_2.11-1.1.0/bin/../libs/jersey-guava-2.25.1.jar:/opt/kafka_2.11-1.1.0/bin/../libs/jersey-media-jaxb-2.25.1.jar:/opt/kafka_2.11-1.1.0/bin/../libs/jersey-server-2.25.1.jar:/opt/kafka_2.11-1.1.0/bin/../libs/jetty-client-9.2.24.v20180105.jar:/opt/kafka_2.11-1.1.0/bin/../libs/jetty-continuation-9.2.24.v20180105.jar:/opt/kafka_2.11-1.1.0/bin/../libs/jetty-http-9.2.24.v20180105.jar:/opt/kafka_2.11-1.1.0/bin/../libs/jetty-io-9.2.24.v20180105.jar:/opt/kafka_2.11-1.1.0/bin/../libs/jetty-security-9.2.24.v20180105.jar:/opt/kafka_2.11-1.1.0/bin/../libs/jetty-server-9.2.24.v20180105.jar:/opt/kafka_2.11-1.1.0/bin/../libs/jetty-servlet-9.2.24.v20180105.jar:/opt/kafka_2.11-1.1.0/bin/../libs/jetty-servlets-9.2.24.v20180105.jar:/opt/kafka_2.11-1.1.0/bin/../libs/jetty-util-9.2.24.v20180105.jar:/opt/kafka_2.11-1.1.0/bin/../libs/jopt-simple-5.0.4.jar:/opt/kafka_2.11-1.1.0/bin/../libs/kafka_2.11-1.1.0.jar:/opt/kafka_2.11-1.1.0/bin/../libs/kafka_2.11-1.1.0-sources.jar:/opt/kafka_2.11-1.1.0/bin/../libs/kafka_2.11-1.1.0-test-sources.jar:/opt/kafka_2.11-1.1.0/bin/../libs/kafka-clients-1.1.0.jar:/opt/kafka_2.11-1.1.0/bin/../libs/kafka-log4j-appender-1.1.0.jar:/opt/kafka_2.11-1.1.0/bin/../libs/kafka-streams-1.1.0.jar:/opt/kafka_2.11-1.1.0/bin/../libs/kafka-streams-examples-1.1.0.jar:/opt/kafka_2.11-1.1.0/bin/../libs/kafka-streams-test-utils-1.1.0.jar:/opt/kafka_2.11-1.1.0/bin/../libs/kafka-tools-1.1.0.jar:/opt/kafka_2.11-1.1.0/bin/../libs/log4j-1.2.17.jar:/opt/kafka_2.11-1.1.0/bin/../libs/lz4-java-1.4.jar:/opt/kafka_2.11-1.1.0/bin/../libs/maven-artifact-3.5.2.jar:/opt/kafka_2.11-1.1.0/bin/../libs/metrics-core-2.2.0.jar:/opt/kafka_2.11-1.1.0/bin/../libs/osgi-resource-locator-1.0.1.jar:/opt/kafka_2.11-1.1.0/bin/../libs/plexus-utils-3.1.0.jar:/opt/kafka_2.11-1.1.0/bin/../libs/reflections-0.9.11.jar:/opt/kafka_2.11-1.1.0/bin/../libs/rocksdbjni-5.7.3.jar:/opt/kafka_2.11-1.1.0/bin/../libs/scala-library-2.11.12.jar:/opt/kafka_2.11-1.1.0/bin/../libs/scala-logging_2.11-3.7.2.jar:/opt/kafka_2.11-1.1.0/bin/../libs/scala-reflect-2.11.12.jar:/opt/kafka_2.11-1.1.0/bin/../libs/slf4j-api-1.7.25.jar:/opt/kafka_2.11-1.1.0/bin/../libs/slf4j-log4j12-1.7.25.jar:/opt/kafka_2.11-1.1.0/bin/../libs/snappy-java-1.1.7.1.jar:/opt/kafka_2.11-1.1.0/bin/../libs/validation-api-1.1.0.Final.jar:/opt/kafka_2.11-1.1.0/bin/../libs/zkclient-0.10.jar:/opt/kafka_2.11-1.1.0/bin/../libs/zookeeper-3.4.10.jar kafka.Kafka config/server.properties
root      3280  1558  0 22:17 pts/0    00:00:00 grep --color=auto kafka

4.使用

## 创建topic，3个partition， 每个partition有3个副本，在任何一个kafka节点上都可以
/bin/kafka-topics.sh --create --zookeeper 192.168.1.131:2181,192.168.1.132:2181,192.168.1.133:2181 --replication-factor 3 --partitions 3 --topic test

## 查看topic列表，在另外一个节点上查看
[root@localhost kafka_2.11-1.1.0]# bin/kafka-topics.sh --list --zookeeper localhost:2181
test

## 查看topic状态
[root@localhost kafka_2.11-1.1.0]# bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
Topic:test      PartitionCount:3        ReplicationFactor:3     Configs:
        Topic: test     Partition: 0    Leader: 2       Replicas: 2,1,0 Isr: 2,1,0
        Topic: test     Partition: 1    Leader: 0       Replicas: 0,2,1 Isr: 0,2,1
        Topic: test     Partition: 2    Leader: 1       Replicas: 1,0,2 Isr: 1,0,2

## 发送消息，在任何一个节点执行
bin/kafka-console-producer.sh --broker-list 192.168.1.131:9092,192.168.1.132:9092,192.168.1.133:9092 --topic test
> 输入内容，然后按回车

## 消费消息 在另外一个节点执行。只要生产者输入内容，一敲回车，这里就会显示
[root@localhost kafka_2.11-1.1.0]# bin/kafka-console-consumer.sh --zookeeper 192.168.1.131:2181,192.168.1.132:2181,192.168.1.133:2181 --from-beginning --topic test
Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper].
test1
test4
test
test3
this is msg
another msg
test2
test5
Kafka集群搭建
qq_42439945的博客
02-21 1267
Kafka集群搭建，用自身带的Zookeeper
Kafka详解(包括kafka集群搭建)
热门推荐
wudidahuanggua的博客
09-29 7万+
对kafka细致的解析，从理论到集群搭建实战
Kafka1.1.1搭建
接受自己的普通，然后拼尽全力去与众不同
01-03 614
1.下载Kafka1.1.1 2.在kafka的目录下创建文件夹data [zuowei.zhang@master kafka-1.1.1]$ ll total 48 drwxr-xr-x 3 zuowei.zhang zuowei.zhang 4096 Jul 7 12:15 bin drwxr-xr-x 2 zuowei.zhang zuowei.zhang 4096 Jul 7...
window环境启动kafka报错：此时不应有../config/log4j.properties
qq_34721505的博客
04-24 1886
window7下启动kafka报错如下： 背景： 1、在官网下载kafka_2.10-0.10.2.0.tgz； 2、将第一步的压缩包解压到D:\Program Files (x86)目录下； 3、启动zookeeper； 4、进入到D:\Program Files (x86)\kafka_2.10-0.10.2.0\kafka_2.10-0.10.2.0目录，执行.\bin\win...
Kafka 查看topic报“No such file or directory”异常
芥末鱿鱼~的博客
07-01 4635
使用“kafka-topics.sh --zookeeper 127.0.0.1:2181 --list”指令再查看topic的时候，报“/d/kafka_2.10-0.10.2.0/bin/kafka-run-class.sh: line 259: D:\Program: No such file or directory”异常。 可以发现是kafka-run-class.sh文件2...
kafka配置文件详解
m0_57223716的博客
11-03 5528
默认 kafka server.properties 配置如下： ############################# Server Basics ############################# # 服务器基础知识 # The id of the broker. This must be set to a unique integer for each broker. # 必须为每个代理设置一个唯一的整数 broker.id=0 #############...
Kafka启动及验证(单机版)
SDN_SUPERUSER的专栏
07-02 5975
一： 下载kafka_2.11-1.0.0.tgz，并解压到磁盘。 安装zookeeper二： 启动zookeeper三：配置文件在${kafka_home}/config 下面，配置文件就不一一介绍#配置broker.id# The id of the broker. This must be set to a unique integer for each broker.broker.id=0...
kafka集群搭建文档
05-31
本篇文档将详细介绍如何在Linux环境中搭建Kafka集群，同时结合Hadoop和Spark的分布式安装，构建一个完整的数据处理平台。 首先，搭建Kafka集群的基础条件包括： 1. 至少一台Linux服务器，但为了高可用性，推荐多台...
kafka集群搭建及测试.docx
11-11
【Kafka集群搭建及测试】 Kafka是一种分布式流处理平台，常用于实时数据处理和大数据管道。本文档将详细介绍如何在三台Ubuntu 16虚拟机上搭建Kafka集群，并进行基本的测试，确保其正常运行。 **1. 准备工作** 在...
读取topic，查看有哪些topic，删除topic,创建topic生产者
weixin_45762425的博客
12-13 1757
kafka-console-consumer --bootstrap-server localhost:9092 --topic three --from-beginning kafka-topics --list --zookeeper localhost:2181
Kafka 快速指南
u014697639的博客
08-31 333
Apache Kafka - 简介 在大数据中，使用了大量的数据。 关于数据，我们有两个主要挑战。第一个挑战是如何收集大量的数据，第二个挑战是分析收集的数据。 为了克服这些挑战，您必须需要一个消息系统。 Kafka专为分布式高吞吐量系统而设计。 Kafka往往工作得很好，作为一个更传统的消息代理的替代品。 与其他消息传递系统相比，Kafka具有更好的吞吐量，内置分区，复制和固有的容错能力，这使得它...
# KafKa # KafKa搭建
zjjcchina的博客
10-25 131
KafKa搭建 1.上传压缩包 2.解压，配置环境变量（master、node1、node2） #解压 tar -xvf kafka_2.11-1.0.0.tgz -C /usr/local/soft/ • 1 • 2 1. 2. 3. 4. #配置环境变量 vim /etc/profile #追加以下内容 #kafka export KAFKA_HOME=/usr/local/soft/kafka_2.11-1.0.0 export PATH=$KAFKA_HOME/bin:$PATH #
Kafka之入门级安装部署
TomAndersen的博客
03-15 279
1. 下载Kafka安装包 Apache所有项目历史版本镜像地址 Apache Kafka下载地址 2. 解压到指定路径下 本次安装的Kafka为2.1.1版本，注意：压缩包前面的版本号为Scala版本号，而后面的才是Kafka版本号 tar -xzvf kafka_2.11-2.1.1.tgz -C /opt/module/ 3. 配置环境变量 通过修改/etc/profile文件设置K...
linux kafka启动报错 /opt/kafka/bin/kafka-run-class.sh: line 342 No such file or directory 解决办法
Junyingjun的博客
12-25 1477
linux kafka启动报错 /opt/kafka/bin/kafka-run-class.sh: line 342: /usr/java/jdk1.8.0_332/bin/java: No such file or directory 解决办法
使用kafka报错log4j:ERROR Could not read configuration file from URL[ ....../connect-log4j.properties]
JJBOOM425的博客
05-14 4464
今天在使用kafka的时候，进行以下指令测试时报了个错误： ./lib/kafka/bin/connect-distributed.sh ./etc/kafka/conf.dist/connect-distributed-Oracle.properties ./etc/kafka/conf.dist/OracleSourceConnector.properties [root@cluster2-4 KAFKA-4.1.0-1.4.1.0.p0.4]# ./lib/kafka/bin/connect-
Kafka学习笔记(二)：Kafka之常用配置文件核心内容
IT-CRUD
03-12 916
上一篇了解了Kafka的基本概念，主要是日志、主题、分区、生产者、消费者、消费者群组、偏移量、消息和批次以及Broker和集群。这些基本概念了解以后就是上手自己下载Kafka，安装起来。安装Kafka很简单，就是将下载的压缩包解压出来，首先启动zookeeper，然后再启动Kafka服务。启动zookeeper、Kafka的时候都需要指定配置文件，zookeeper不是本系列文章的主要内容，就不多说，使用默认的zookeeper配置就可以。同样Kafka启动使用默认配置也可以，但是为了学习Kafka，还是需
bin/kafka-server-start.sh config/server.properties 启动Kafka无响应
fang.lovest.yang的博客
01-30 1万+
一、背景          linux控制台运行 bin/kafka-server-start.sh config/server.properties，没有响应。 二、解决         cat bin/kafka-server-start.sh，查看脚本，发现为空。解决办法就是重新解压kafka安装包，然后将新的bin/kafka-server-start.sh复制过来即可。 ...
深入学习Kafka之多代理配置、解决Topic删除问题
shan286的专栏
04-09 1332
报错记录 1、ERROR [KafkaServer id=2] Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) org.apache.kafka.common.KafkaException: Socket server failed to bind to 0.0.0.0:...
Kafka集群搭建实战教程与环境配置指南
Kafka集群搭建完成后，还需要进行定期维护和监控，包括： - 监控broker和Zookeeper的状态。 - 监控磁盘空间、内存使用等系统资源。 - 使用工具如JMX、Kafka Manager等进行集群管理。 - 设置合理的日志和备份策略。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值