vbox 扩容

一、什么是ISR (in-sync replica set ) 二、什么是OSR(out-of-sync-replica set) 三、什么是AR(Assign Replicas) 一、什么是ISR (in-sync replica set ) leader会维持一个与其保持同步的replica集合，该集合就是ISR，每一个leader partition都有一 个ISR，leader动态维护, 要保证kafka不丢失message，就要保证ISR这组集合存活(至少有一个存活)， 并且

ISR与leader保持一定程度同步的副本。 kafka中的可以有多个follower，但是并不是所有的follower都可以进入ISR。那么follower进入ISR的条件是什么 在0.9版本以前有两个条件：1是在一定时间同步最多的条数，2是同步完成所用时间最短的。 在0.9版一直到以后只有一个，同步所用时间最短的。 ...

#版权声明：不定期更新维护地址，看这里→_→ https://blog.csdn.net/qq_16592497/article/details/84589660 #检查 kafka 集群 Isr 信息 #用法简介 function print_usage(){ echo -e "\e[1;31mIncorrect parameter input. Please reenter! \e[0m...

Leader会维护一个与其基本保持同步的Replica列表，该列表称为ISR（in-sync Replica）  如果一个Follower比Leader落后太多，或者超过一定时间未发起数据复制请求，则Leader将其从ISR中移除  当ISR中所有Replica都向Leader发送ACK时，Leader即Commit  ...

在 Apache Kafka 中，ISR（In-Sync Replicas）是指一个分区的多个副本中与 Leader 副本保持同步的那部分副本集合。ISR 机制是 Kafka 为了保证数据高可用性和容错性而设计的一种机制。下面详细介绍 ISR 的工作原理及其在 Kafka 中的作用。

为了保证副本能够跟上领导者的更新，并且能够在领导者失败时迅速接管，Kafka 引入了 ISR（In-Sync Replicas）的概念。：领导者维护着一个 ISR 列表，并且当有新的副本加入或者旧的副本离开时，它会更新这个列表。这个列表对于确保分区的可用性非常重要，因为它决定了哪些副本可以在领导者不可用的情况下提升为新的领导者。：如果领导者失败了，那么控制器（Controller）会选择一个当前 ISR 列表中的副本作为新的领导者。只有 ISR 中的副本才有资格成为新的领导者，因为它们拥有最新的数据。

今天我要和你分享的主题是：Apache Kafka 的副本机制。所谓的副本机制（Replication），也可以称之为备份机制，通常是指分布式系统在多台网络互联的机器上保...

Kafka 为分区引入了多副本 （Replica） 机制， 通过增加副本数量可以提升容灾能力。同一分区的不同副本中保存的是相同的消息（在同一时刻，副本之间并非完全一样）

注意：本篇文章的概念性比较强，个人觉得这篇文章的每个点都很重要！ Kafka 中的消息是以主题topic为基本单位进行归类的，各个主题在逻辑上相互独立。每个主题又可以分为一个或多个分区，分区的数量可以在主题创建的时候指定，也可以在之后修改。每条消息在发送的时候会根据分区规则被追加到指定的分区中，分区中的每条消息都会被分配一个唯一的序列号，也就是通常所说的偏移量（offset），具有4个分区的主题的逻辑结构见下图。 如果分区规则设置得合理，那么所有的消息可以均匀地分布到不同的分区中，这样就可以实现水平扩.

​ 分区中的所有副本统称为AR（Assigned Repllicas）。所有与leader副本保持一定程度同步的副本（包括Leader）组成ISR（In-Sync Replicas），ISR集合是AR集合中的一个子集。消息会先发送到leader副本，然后follower副本才能从leader副本中拉取消息进行同步，同步期间内follower副本相对于leader副本而言会有一定程度的滞后。前面所说的“一定程度”是指可以忍受的滞后范围，这个范围可以通过参数进行配置。与leader副本同步滞后过多的副本（不包括

kafka 0.11之前使用HW(Hight WaterMark),0.11之后使用Leader Epoch HW 弊端： 数据丢失、数据不一致 Leader Epoch: 解决数据丢失和数据不一致问题 Leader中持有一个Leader Epoch，并存储在zookeeper中，并传递给每一个新的leader ...

Kafka0.8版本后加入副本机制，每个Partition可能有多个备份，某个Partition的Replica列表叫作AR（Assigned Replicas） 1、优先副本（Preferred Replica） 如果一个分区有3个副本，且这3个副本的优先级别分别为1，5，9，根据优先副本的概念，1会作为leader。 AR中的第一个Replica即为“Preferred Replica”...

acks 描述：producer 发送数据服务端的响应级别 acks = all/-1 : 表示kafka isr列表中所有的副本同步数据成功，才返回消息给客户端 acks = 0 ：表示客户端只管发送数据，不管服务端接收数据的任何情况 acks = 1 ：表示客户端发送数据后，需要在服务端 leader 副本写入数据成功后，返回响应 min.insync.replicas 描述：Kafka ISR 列表中最小同步副本数 默认 min.insync.replicas = 1 当 acks = all