docker一键部署kafka

kkguo1990

已于 2022-06-10 17:40:56 修改

阅读量343

点赞数

CC 4.0 BY-SA版权

分类专栏： MQ消息队列文章标签： kafka docker java

于 2022-06-10 11:09:21 首次发布

本文链接：https://blog.csdn.net/kkguo1990/article/details/125216256

MQ消息队列专栏收录该内容

2 篇文章

订阅专栏

本文介绍了如何使用docker-compose搭建Zookeeper和Kafka，并配置Springboot应用与Kafka进行集成。首先确保安装docker和docker-compose，然后通过yaml文件配置zookeeper和kafka服务，启动容器。接着在Springboot项目中引入Spring-Kafka依赖，配置Kafka的连接参数、生产者和消费者的相关设置。最后，提供了消费者和生产者的配置示例，帮助开发者快速构建消息生产与消费功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

提示：需要docker-compose环境：

请先自行安装 docker ,以及docker-compose

一、编排 docker-compose.yml

version: '2'
services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"
    volumes:
      - /etc/localtime:/etc/localtime  
      
  kafka:
    image: wurstmeister/kafka:2.13-2.8.1
    ports:
      - "9092:9092"
    environment:
      KAFKA_BROKER_ID: 0
      KAFKA_ZOOKEEPER_CONNECT: host.docker.internal:2181      
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://host.docker.internal:9092
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092

    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

提示：当前的kafka镜像是2.6.0版本的kafka

host.docker.internal 映射的是宿主机IP

执行

  docker-compose up -d

自此基本完结安装。

集成Springboot


        <!-- 引入 Spring-Kafka 依赖 -->
        <!-- 已经内置 kafka-clients 依赖，所以无需重复引入 -->
        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
            <version>2.3.3.RELEASE</version>
        </dependency>

application.properties


# 应用名称
spring.application.name=kafka-produce

server.port=8114

###########【Kafka集群】###########
spring.kafka.bootstrap-servers=宿主机IP:9092
###########【初始化生产者配置】###########
# 重试次数
spring.kafka.producer.retries=0
# 应答级别:多少个分区副本备份完成时向生产者发送ack确认(可选0、1、all/-1)
spring.kafka.producer.acks=1

# 批量大小
spring.kafka.producer.batch-size=16384
# 提交延时
spring.kafka.producer.properties.linger.ms=0
# 当生产端积累的消息达到batch-size或接收到消息linger.ms后,生产者就会将消息提交给kafka
# linger.ms为0表示每接收到一条消息就提交给kafka,这时候batch-size其实就没用了
?
# 生产端缓冲区大小
spring.kafka.producer.buffer-memory = 33554432


# Kafka提供的序列化和反序列化类
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer
# 自定义分区器
# spring.kafka.producer.properties.partitioner.class=com.felix.kafka.producer.CustomizePartitioner

###########【初始化消费者配置】###########
# 默认的消费组ID
spring.kafka.consumer.properties.group.id=wind1

# 是否自动提交offset
spring.kafka.consumer.enable-auto-commit=false
# 提交offset延时(接收到消息后多久提交offset)
spring.kafka.consumer.auto.commit.interval.ms=1000

# 当kafka中没有初始offset或offset超出范围时将自动重置offset
# earliest:重置为分区中最小的offset;
# latest:重置为分区中最新的offset(消费分区中新产生的数据);
# none:只要有一个分区不存在已提交的offset,就抛出异常;
spring.kafka.consumer.auto-offset-reset=earliest
# 消费会话超时时间(超过这个时间consumer没有发送心跳,就会触发rebalance操作)
spring.kafka.consumer.properties.session.timeout.ms=120000
# 消费请求超时时间
spring.kafka.consumer.properties.request.timeout.ms=180000

# Kafka提供的序列化和反序列化类
spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer
# 消费端监听的topic不存在时，项目启动会报错(关掉)
spring.kafka.listener.missing-topics-fatal=false
# 设置批量消费
# spring.kafka.listener.type=batch
# 批量消费每次最多消费多少条消息
spring.kafka.consumer.max-poll-records=500