kafka--基础知识点--5.1--ACK机制

Kafka ACK策略详解及配置指南

一、ACK策略的三种类型

1. acks=0

• 定义：生产者发送消息后，不等待任何确认，直接继续发送下一条消息。
• 特点：
  • 最高吞吐量：无需等待任何确认，生产者可以以最快速度发送消息。
  • 最高风险：消息可能丢失。例如：消息在发送过程中网络中断，或Broker接收消息后崩溃但未写入磁盘。
• 适用场景：对消息可靠性要求不高，且追求极致性能的场景，如日志采集、实时监控。

2. acks=1（默认值）

• 定义：生产者发送消息后，等待Leader副本确认接收消息，但不会等待所有ISR中的Follower副本确认。
• 特点：
  • 平衡吞吐量与安全性：吞吐量低于acks=0，但高于acks=-1。
  • 风险: 生产者设置允许重复发送的前提
    • 消息丢失：如果Leader在确认后立即崩溃，而Follower尚未同步该消息，则消息可能丢失。
    • 消息重复：如果Leader给生产者返回的确认由于网络抖动生产者没有收到，过段时间后生产者会再次发送，则会导致消息重复。
• 适用场景：对一致性和吞吐量有一定平衡要求的场景，如实时推荐系统、普通业务日志。

3. acks=-1（或all）

• 定义：生产者发送消息后，等待所有ISR中的副本确认接收消息。只有当所有同步副本都成功写入消息后，生产者才会收到确认。
• 特点：
  • 最低吞吐量：需要等待所有同步副本的确认，延迟较高。
  • 最强一致性保证：消息只有在所有ISR副本写入成功后才会被认为已提交。即使Leader崩溃，新选举的Leader也包含该消息，确保数据不丢失。
• 适用场景：对数据一致性要求极高的场景，如金融交易、支付系统、核心业务数据。

二、ACK策略的配置方法

1. 生产者端配置（使用Python confluent_kafka库示例）

• 配置参数：在生产者配置中设置acks参数，可选值为0、1、all（或-1）。
• 示例代码：

  from confluent_kafka import Producer
  
  # 配置生产者参数
  producer_config = {
      'bootstrap.servers': 'localhost:9092',  # Kafka集群地址
      'client.id': 'python-kafka-producer',   # 客户端标识
      'acks': 'all',  # 设置acks策略为all
      'retries': 3,   # 重试次数
      'retry.backoff.ms': 1000  # 重试间隔（毫秒）
  }
  
  # 创建Producer实例
  producer = Producer(producer_config)
  
  # 发送消息
  def delivery_report(err, msg):
      if err is not None:
          print(f'消息发送失败: {err}')
      else:
          print(f'消息已发送到 {msg.topic()} [分区 {msg.partition()}]')
  
  topic = 'test-topic'
  message = 'Hello, Kafka!'
  
  # 发送消息并设置回调函数
  producer.produce(topic, message.encode('utf-8'), callback=delivery_report)
  producer.flush()  # 确保所有消息被发送
  

2. Broker端配置（server.properties文件）

• 相关参数：
  • min.insync.replicas：当acks=all时，要求至少有多少个副本同步。例如，设置min.insync.replicas=2表示至少需要2个副本同步。
  • default.replication.factor：主题默认的复制因子，表示每个分区有多少个副本。
  • replica.lag.time.max.ms：Follower副本与Leader副本的最大延迟时间，超过该时间会被移出ISR。
• 示例配置：

  # server.properties文件配置示例
  broker.id=1
  listeners=PLAINTEXT://:9092
  log.dirs=/var/lib/kafka/data
  
  # 副本相关配置
  min.insync.replicas=2  # 当acks=all时，至少需要2个副本同步
  default.replication.factor=3  # 主题默认复制因子为3
  replica.lag.time.max.ms=30000  # Follower副本最大延迟时间为30秒
  

三、关键结论

• 生产者端：通过设置acks参数控制消息确认级别，直接影响消息的可靠性和吞吐量。
• Broker端：通过配置min.insync.replicas等参数，确保当acks=all时，有足够的副本同步，从而保障数据一致性。
• 场景选择：根据业务需求选择合适的acks策略，平衡性能与可靠性。

通过以上配置，可以有效地在Kafka中实现不同级别的一致性和可用性保障。