Docker 快速搭建 Kafka 集群
你是否想要一个 Kafka 集群,但又不想经历繁琐的手动配置过程?别担心,有了 Docker 和 Docker Compose,我们可以轻松快捷地搭建一个 Kafka 集群,让你能专注于享受实时数据流处理的乐趣。
环境与工具
软件环境:
- Docker:v20.10.21
- Docker Compose:v2.15.1
硬件要求:
- 内存:至少 4GB
- CPU:至少双核
前置信息:
- 使用 Bitnami 提供的 Kafka 和 ZooKeeper Docker 镜像。
- 通过 Docker Compose 搭建多节点 Kafka 集群,包括一个 ZooKeeper 和三个 Kafka Broker。
步骤一览
- 安装 Docker 和 Docker Compose
- 准备 Docker Compose 文件
- 配置 Kafka 和 ZooKeeper 环境
- 启动集群
- 测试 Kafka 集群
详细步骤
1. 安装 Docker 和 Docker Compose
如果你还没有安装 Docker 和 Docker Compose,先别慌,这里有详细的安装步骤。
Docker 安装步骤:
- 卸载旧版本 Docker(如果有):
sudo apt-get remove docker docker-engine docker.io containerd runc
- 更新软件包列表并安装所需依赖:
sudo apt-get update
sudo apt-get install apt-transport-https ca-certificates curl software-properties-common
- 添加 Docker 官方 GPG 密钥:
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg
- 设置 Docker 仓库:
echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" |