docker 安装 kafka单节点

原创 已于 2023-02-27 22:13:51 修改 · 653 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#docker #linux #kafka

于 2023-02-12 00:01:01 首次发布
该文详细介绍了如何在Linux环境下配置Docker容器，包括桥接网卡模式下运行Zookeeper和Kafka，设置环境变量，以及通过自定义网络模式简化容器间通信。还提供了Kafka的命令行操作，如创建、删除和描述主题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

linux 虚拟机网卡配置  参考  Linux 虚拟机配置桥接网卡_大大蚊子的博客-CSDN博客

linux 安装docker 参考 ​​​​​​​Linux 安装docker engine_大大蚊子的博客-CSDN博客_docker engine

docker 常用命令参考 ​​​​​​​docker 常用命令及参数_大大蚊子的博客-CSDN博客

宿主机网络模式

运行zookeeper容器

参数--name 容器名称 

参数-d 后台运行

参数-p 端口映射

docker镜像 bitnami/zookeeper:latest

docker run -d --name zookeeper \
	-p 2181:2181 \
    -e ALLOW_ANONYMOUS_LOGIN=yes \
    bitnami/zookeeper:latest

 运行kafka容器

参数--name 容器名称

参数-d 后台运行

参数-p 端口映射

参数-e 环境变量

docker镜像bitnami/kafka:latest

docker run -d --name kafka \
    -p 9092:9092 \
    -e ALLOW_PLAINTEXT_LISTENER=yes \
    -e KAFKA_CFG_ZOOKEEPER_CONNECT=192.168.1.102:2181 \
    -e KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.102:9092 \
    bitnami/kafka:latest

 参数-it 交互式进入容器

 参数kafka 容器名称

docker exec -it kafka bash

 测试kafka命令，需要进入容器运行

/opt/bitnami/kafka/bin/kafka-topics.sh --bootstrap-server 192.168.1.102:9092 --list 
/opt/bitnami/kafka/bin/kafka-topics.sh --bootstrap-server 192.168.1.102:9092 --create --topic test --replication-factor 1 --partitions 1
/opt/bitnami/kafka/bin/kafka-topics.sh --bootstrap-server 192.168.1.102:9092 --delete --topic test,xxx,xxxxx
/opt/bitnami/kafka/bin/kafka-topics.sh --bootstrap-server 192.168.1.102:9092 --alter --topic test --partitions 2
/opt/bitnami/kafka/bin/kafka-topics.sh --bootstrap-server 192.168.1.102:9092 --describe --topic test

自定义网络模式

创建自定义网桥网络

docker network create kafkanet

查看网络

docker network ls

 运行zookeeper容器

参数--name 容器名称 

参数-d 后台运行

参数--network 指定网络    区别自定义网络可以通过容器名称进行访问

docker镜像 bitnami/zookeeper:latest

docker run -d --name zookeeper \
    --network kafkanet \
    -e ALLOW_ANONYMOUS_LOGIN=yes \
    bitnami/zookeeper:latest

 运行kafka容器

参数--name 容器名称

参数-d 后台运行

参数-p 端口映射

参数--network 指定网络    直接使用zookeeper:2181找到zk 不需要写ip

参数-e 环境变量

docker镜像bitnami/kafka:latest

docker run -d --name kafka \
    --network kafkanet \
    -p 9092:9092 \
    -e ALLOW_PLAINTEXT_LISTENER=yes \
    -e KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper:2181 \
    -e KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.102:9092 \
    bitnami/kafka:latest

 参数-it 交互式进入容器

 参数kafka 容器名称

docker exec -it kafka bash

 测试kafka命令，需要进入容器运行

/opt/bitnami/kafka/bin/kafka-topics.sh --bootstrap-server 192.168.1.102:9092 --list 
/opt/bitnami/kafka/bin/kafka-topics.sh --bootstrap-server 192.168.1.102:9092 --create --topic test --replication-factor 1 --partitions 1
/opt/bitnami/kafka/bin/kafka-topics.sh --bootstrap-server 192.168.1.102:9092 --delete --topic test,xxx,xxxxx
/opt/bitnami/kafka/bin/kafka-topics.sh --bootstrap-server 192.168.1.102:9092 --alter --topic test --partitions 2
/opt/bitnami/kafka/bin/kafka-topics.sh --bootstrap-server 192.168.1.102:9092 --describe --topic test

Docker部署Kafka：单节点和多节点详细教程
DeoSql的博客
09-21 610
我们详细介绍了单节点和多节点部署Kafka的步骤，并提供了相应的源代码示例。现在，您可以根据您的需求，使用Docker轻松地搭建和管理Kafka集群。镜像创建一个名为"kafka"的容器。该镜像是Confluent提供的官方Kafka镜像，并且已经预先配置好了Kafka的环境。在容器的shell环境中，我们可以使用Kafka自带的命令行工具进行测试。在容器的shell环境中，我们可以使用Kafka自带的命令行工具进行测试。现在，我们可以创建多个Kafka容器，并将它们连接到Zookeeper容器。
【中间件】docker+kafka单节点部署---zookeeper模式
youmiqianyue的博客
12-31 2721
最近生产环境上准备部署ELFK日志监控，先在测试环境部署单节点kafka验证调通相关配置，特此记录kafka部署流程，后续再补充kafka高可用方案；
【 Docker系列】 Docker部署kafka
最新发布
CSDN站内信: https://i.csdn.net/#/msg/chat/qyj19920704
05-28 1万+
在于 Confluent 的 Zookeeper 镜像经过了特定的优化和配置，能够与 Confluent 平台的其他组件（如 Kafka、Schema Registry 等）无缝协作。直接使用 Apache 官方的 Zookeeper 镜像虽然可以工作，但需要进行额外的配置才能与 Confluent Kafka 配合使用。而 Confluent 平台作为 Kafka 的企业级发行版，提供了更多增强功能和工具。如果命令返回了详细的镜像信息，说明该镜像存在且可访问。下面是一个经过验证的。
docker部署简单的Kafka
m0_51390969的博客
07-03 1116
这些命令将使 ZooKeeper 和 Kafka 容器在同一个 Docker 网络中运行，并确保它们可以相互通信。如果可以成功列出 Kafka 主题，则表示 Kafka 和 ZooKeeper 正常运行。通过以上步骤，可以确认 ZooKeeper 和 Kafka 容器是否正常运行并相互通信。然后，运行 ZooKeeper 容器并将其连接到。最后，运行 Kafka 容器并将其连接到。选择一组兼容性好的版本。
Docker部署Kafka单机版
源滚滚编程
02-19 1727
下载UI工具：https://kafkatool.com/download2/offsetexplorer_64bit.exe。外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传。点击是，然后就成功的使用客户端连接上Kafka了。下载好以后按照默认进行安装。
DevOps系列文章 之 docker 制作kafka镜像
Coder_Boy_的博客
07-28 2789
以上Dockerfile使用了官方的OpenJDK 8镜像作为基础镜像，并下载并安装了指定版本的Kafka。同时，它还设置了Kafka的环境变量和工作目录，并暴露Kafka的监听端口。在这一步，我们将创建一个Dockerfile，用于制作Kafka镜像。该命令会在后台运行一个名为kafka的容器，并将主机的9092端口映射到容器的9092端口。至此，你已经成功地用Docker制作了一个Kafka镜像，并成功运行了一个Kafka容器。在制作Kafka镜像之前，你需要下载Kafka二进制文件。
docker部署kafka单节点及springboot集成
07-05
使用docker容器化部署kafka，zookeeper，并且在springboot中集成kafka完整示例工程代码 环境： 操作系统：win10 Docker：Docker Desktop 4.21.1 (114176)、Docker Engine v24.0.2 SpringBoot：2.7.15
Windows下Docker安装Kafka3+集群
frinder的专栏
04-03 1250
注：KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://192.168.3.21:39092 IP一定要改成宿主机IP，不然Kafka-ui访问报错！
docker 部署kafka，包含单节点多节点，保姆级教程
weixin_44913333的博客
09-30 1376
本文介绍如何使用docker-compose一键部署kafka环境及对应的管理和监控工具，包含单节点和多节点以及数据的映射和注意点
【kafka】docker容器bitnami/kafka使用SASL鉴权（无TLS）
weixin_41855143的博客
05-01 3812
可以设置为一个新的listener，也可以设置为现有的listener（controller除外），本文就以设置现有的listener为例，将改值设置为。后来发现其实是可以单独使用SASL，而且官方文档没有完整的配置资料，最后在Issue上找到解决方案。最近在学习kafka消息队列，了解到kafka是通过SASL来进行用户认证的。参数的作用是一致的，都是为了设置broker之间通信的配置，由于。默认值的，但是这个值在容器使用中会出现错误，而且在。设置之后依然存在问题，本文暂不讨论，后续就以。
Docker服务器上部署最新版Kafka
m0_74139496的博客
07-18 1727
Docker服务器上部署最新版Kafka
docker中快速安装Kafka(单节点)
yuanjinshenglife的专栏
03-12 3355
docker中快速安装Kafka_单节点
docker部署kafka（单节点）
weixin_47056367的博客
03-05 696
kafka部署 1.拉取镜像 2.zookeeper安装 3.kafka 安装 4.进入kafka容器 5.新建一个test主题，并以生产者身份进行消息生产 6.打开一个新的ssh连接，同样进入kafka容器，模拟消费者接收消息 7.kafka-manager安装 8.访问：http://192.168.xx.xx:9000，并添加一个cluster即可 ...
Docker部署单节点Kafka
DuebassLei的博客
11-22 1684
Docker安装Kafka单节点
docker kafka 单节点
2401_82948396的博客
04-11 514
这里使用了wurstmeister/kafka和wurstmeister/zookeeper这两个版本的镜像。删除主题【需要在server.properties中设置delete.topic.enable=true】在命令中运行docker images验证两个镜像已经安装完毕。宿主机IP: 10.3.11.56。启动zookeeper容器。
docker部署kafka（单节点） + Springboot集成kafka
wsdhla的专栏
07-05 727
docker部署kafka + Springboot集成kafka
Linux Docker 之 Kafka 单节点安装
游荡边缘的博客
12-19 883
1、获取相关镜像: 1.1 获取 zookeeper 镜像: docker pull wurstmeister/zookeeper 1.2 获取 kafka 镜像: docker pull wurstmeister/kafka 2.运行镜像 2.1 运行zookeeper docker run -d --name zookeeper -p 2282:2181 -t wurst...
docker安装kafaka单节点并使用Springboot集成
sngh159357的博客
10-16 319
公司项目需要对接kafaka，记一次开发环境安装。
使用Docker单点安装部署Kafka
pengjunlee的博客
01-03 2484
CentOS上直接安装部署Kafka请参考：https://blog.csdn.net/pengjunlee/article/details/103258121 本篇主要介绍如何使用Docker安装部署Kafka。 安装Zookeeper 下载JDK安装包 由于在Apache官网下载JDK时需要作安全验证，使用 wget 命令下载经常会失败，所以在这里推荐自己手动到官网下载一下JDK安装包...
docker搭建kafka单节点
04-02
<think>嗯，用户想用Docker搭建Kafka单节点环境，我得先理清楚步骤。首先，Kafka依赖Zookeeper，所以可能需要先启动Zookeeper容器。不过有些镜像可能已经集成，但根据引用里的信息，比如引用3用的是bitnami/kafka，并且指定了Zookeeper的连接地址，看起来需要单独启动Zookeeper。 用户提供的引用3提到使用bitnami/kafka镜像，并且通过环境变量配置Zookeeper的连接。那应该先创建一个网络，让Kafka和Zookeeper在同一个Docker网络中，这样它们可以通过服务名通信。比如引用3里的命令用了--network kafkanet，而Zookeeper可能也在同一个网络里，所以KAFKA_CFG_ZOOKEEPER_CONNECT设为zookeeper:2181，这里的zookeeper是服务名。 所以步骤大概是：1. 创建Docker网络；2. 启动Zookeeper容器；3. 启动Kafka容器，并连接到同一网络，配置环境变量指向Zookeeper。另外，用户提供的引用3中的命令还设置了ALLOW_PLAINTEXT_LISTENER为yes，允许明文监听器，以及ADVERTISED_LISTENERS配置为主机IP和端口，这样外部客户端才能正确连接。 需要检查用户给的引用内容，确认是否有单节点的最佳实践。引用3中的例子是单节点，所以可以按照那个来。另外，用户可能还需要验证Kafka是否正常运行，比如进入容器执行命令创建主题或者生产消费消息。这部分需要指导用户如何验证安装是否成功。 另外，用户可能遇到的问题包括网络配置不正确，导致Kafka无法连接Zookeeper，或者ADVERTISED_LISTENERS设置错误导致外部无法访问。要提醒用户注意替换IP地址为实际的主机IP，并确保端口开放。 最后，根据用户提供的引用，引用2里提到了kafka-ui等工具，可能用户后续需要监控或管理界面，可以建议他们如何部署这些UI工具，但当前问题主要是单节点搭建，所以放在相关问题里比较合适。</think>### 使用 Docker 搭建 Kafka 单节点教程 #### 1. 创建 Docker 网络（可选但推荐） 为 Kafka 和 Zookeeper 创建专用网络，确保容器间通信： ```bash docker network create kafka-net ``` #### 2. 启动 Zookeeper 容器 Kafka 依赖 Zookeeper 进行元数据管理，使用以下命令启动单节点 Zookeeper： ```bash docker run -d \ --name zookeeper \ --network kafka-net \ -p 2181:2181 \ -e ALLOW_ANONYMOUS_LOGIN=yes \ bitnami/zookeeper:latest ``` *参数说明*：`--network` 指定容器网络，`-e` 允许匿名访问[^3]。 #### 3. 启动 Kafka 容器 ```bash docker run -d \ --name kafka \ --network kafka-net \ -p 9092:9092 \ -e ALLOW_PLAINTEXT_LISTENER=yes \ -e KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper:2181 \ -e KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://{主机IP}:9092 \ bitnami/kafka:latest ``` *关键配置*： - `KAFKA_CFG_ZOOKEEPER_CONNECT`：指向 Zookeeper 容器地址 - `KAFKA_CFG_ADVERTISED_LISTENERS`：需替换 `{主机IP}` 为宿主机实际 IP，用于外部客户端访问 #### 4. 验证服务状态 进入 Kafka 容器执行测试命令： ```bash docker exec -it kafka bash kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1 kafka-console-producer.sh --topic test --bootstrap-server localhost:9092 kafka-console-consumer.sh --topic test --bootstrap-server localhost:9092 --from-beginning ``` #### 5. 可选管理界面部署 参考引用[2]，可快速部署可视化工具： ```bash # Kafka-UI docker run -d --name kafka-ui -p 8080:8080 \ -e KAFKA_CLUSTERS_0_NAME=local \ -e KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=kafka:9092 \ provectuslabs/kafka-ui ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大大蚊子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值