kafka架构原理快速入门

前言

Kafka在消息队列中吞吐量最大,以极致的性能得到广大程序员的极度好评,下面我们从Kafka设计层面来对Kafka进行一个快速入门

Kafka的架构

Broker        Kafka消息队列的代理节点,是Kafka核心组成部分,用来接收、存储、发送消息的代理节点,⼀个Kafka节点就是⼀个broker，⼀个或者多个 Broker可以组成⼀个Kafka集群

zookeeper  Kafka节点的注册中心和分布式协调器,早期版本使用,现在Zookeeper 注册中心现在已被 KRaft模式 替代

Topic          Kafka消息队列中的主题,Kafka根据topic对消息进⾏归类，发布到Kafka集群的每条消息都需要指定 ⼀个topic

消息生产者和消费者

Kafka代理节点管理消息的机制

1、代理节点是可以管理主题的

2、主题的消息是保存在代理节点中的一个日志文件夹

3、因为消息可能会很多,所以主题也会进行一个分布式管理,就对主题进行了分片横向扩展和集群高可用

4、主题的分片扩展,分片就是指的主题分区，消息存储到那个分区是通过哈希值计算的,分区是可以并行处理消息的,增加Kafka的吞吐量

5、主题的集群高可用,就是把整个集群复制成多份,这个就是主题副本,有集群就会有主从节点,所以就有了主题分区主节点和主题分区从节点的概念

6、所以可以知道,进入主题的消息,在一个分区是可以保证顺序的,存储的时候是有序的,但是分区之间的消息存储是无序的,因为是使用哈希值随机计算的

7、最后发现消息的本质是Kafka的主题分区进行管理的,消费者组之间是广播模式，消费者组内部是负载均衡模式是对主题分区而言的

Kafka对消息持久化运行机制

生产者发送消息之后,消息会分配一个主题分区进行接收,消息是先写入磁盘中,然后再对这个消息进行读取和转发

对Kafka来说,持久化数据不丢失是最主要的任务,至于转发给消费者消费并没有太高的时间要求

并且使用偏移量来记录消息发送到那个位置了

所以就可以实现消费者消费Kafka主题分区的两种策略

        从当前位置进行消费还是从头开始消费消息的策略

Kafka会使用一个名为消费者偏移量的主题来记录持久化管理每个主题分区的偏移量的值

这个主题默认有50个分片和3个集群节点保证横向扩展和高可用以保证对消息的持久化支持

Kafka存储消息的时候会建立稀疏索引的方式来优化读取消息的效率

稀疏索引

        仅仅记录部分消息的索引,读取的时候使用二分查找的方式快速定位到目标值的索引项