PacosonSWJTU的博客

进入zk根目录；启动zk服务器。

【README】本文使用的kafka是最新的 kafka3.0.0；本文kafka集群有3个节点分别是 centos201, centos202, centos203 ； brokerid 分别为 1,2，3； 本文主要用于测试 再均衡监听器；当有新消费者加入时，会发生分区再均衡；再均衡前就会调用再均衡监听器的 onPartitionsRevoked()方法； 本文的测试主题 hello12，有3个分区，每个分区2个副本；【1】再均衡监听器1）应用场景在消费者退出或进行分区再均衡前.

【README】1， 本文总结了 kafka消费者开发方式；【1】 kafka消费则【1.1】消费者与消费者组1）消费者： 应用程序需要创建消费者对象，订阅主题并开始接收消息；2）消费者群组：kafka消费者从属于消费者群组；一个群组里的消费者订阅的是同一个主题，每个消费者接收一部分分区消息；3）消费者接收分区消息模型4）往群组里添加消费者是横向伸缩消费能力的主要方式；不要让 消费者数量超过分区数量，多余消费者会被重置；5）只要保证每个应用程序的消费者组id 是唯一的，

【README】本文演示了当有新消费者加入组后，其他消费者接收分区情况； 本文还模拟了 broker 宕机的情况； 本文使用的是最新的 kafka3.0.0 ； 本文测试案例，来源于 消费者接收分区的5种模型，建议先看模型，refer2 https://blog.csdn.net/PacosonSWJTU/article/details/121853461https://blog.csdn.net/PacosonSWJTU/article/details/121853461【1】kafka测..

【README】本文记录了 kafka生产者开发方式；【1】生产者概览【1.1】kafka发送消息过程文末会结合该图来阐述消息发送细节；【1.2】创建kafka生产者1）创建kafka生产者， 有3个必选属性：bootstrap.servers： kakfa集群节点地址； key.serializer： 键序列化器； value.serializer：值序列化器；/* 1.创建kafka生产者的配置信息 */Properties props = new Prop

【README】本文阐述了kafka可靠消息传递机制；【1】可靠性保证1，在讨论可靠性时，一般使用保证这个词；保证指的是， 确保系统在各种不同的环境下能够发生一致的行为；2，kafka在哪些方面做了保证呢？保证分区消息顺序； 只有当消息被写入分区所有副本时，它才被认为是已提交的；（无论生产者acks设置为多少） 只要有一个副本是活跃的，则已提交消息就不会丢失； 消费者只能读取已提交消息；【2】复制1，kafka复制机制和分区多副本架构是kafka可靠性保证的核心；2.

【README】1，本文主要总结kafka复制，存储细节； 2，本文的kafka集群版本是3.0.0， 有3个broker，分别是 centos201, centos202, centos203 对应的brokerid为 1， 2, 3 ；【1】kafka内部原理【1.1】broker-消息中心点1）broker：一个独立的kafka服务器节点；也称为发送消息的中心点；kafka使用zk维护集群成员关系； 每个broker都有自己的id存储在zk；broker启动时，创建zk节点把自己

【README】本文po出了 topic not present in metadata 的解决方法；很多博文说是 因为 jackson-databind 没有引入，但是我重新引入后，还是没有解决问题；最后，原因在于我要发送消息的分区，topic 没有对应分区会报这个错误；【1】场景重现1）新建topic hello02， 分为3个分区，每个分区2个副本；[root@centos201 kafka3.0.0]# kafka-topics.sh --bootstrap-server.

【README】1，本文主要关注 KafkaTemplate的重点方法，并非全部方法；2，KafkaTemplate 底层依赖于 DefaultKafkaProducerFactory ， 关于 DefaultKafkaProducerFactory 的介绍，refer2spring-kafka整合:DefaultKafkaProducerFactory默认kafka生产者工厂介绍_PacosonSWJTU的博客-CSDN博客【1】 类描述类描述：单例共享 Producer 实例的 Prod..

【1】 类描述类描述：单例共享 Producer 实例的 ProducerFactory 实现。此实现将为每次 createProducer() 调用时提供的 Map 配置和可选的 Serializer 实现返回相同的 Producer 实例（如果未启用事务）。如果您使用的序列化器没有参数构造函数并且不需要设置，那么最简单的方法是在传递给 DefaultKafkaProducerFactory 构造函数的配置中针对 ProducerConfig.KEY_SERIALIZER_CLASS_C

Kafka事务使用和编程示例/实例_JobShow裁员加班实况-微信小程序-CSDN博客一、概述​ Kafka事务特性是指一系列的生产者生产消息和消费者提交偏移量的操作在一个事务中，或者说是一个原子操作，生产消息和提交偏移量同时成功或者失败。注意：kafka事务和DB事务。在理解消息的事务时，一直处于一个错误理解是，把操作db的业务逻辑跟操作消息当成是一个事务，如下所示：void kakfa_in_tranction(){ // 1.kafa的操作：读取消息或生产消息 kafkaOperation(); /

转自：SpringBoot接入两套kafka集群 - 风小雅 - 博客园引入依赖 compile 'org.springframework.kafka:spring-kafka' 第一套kafka配置 package myapp.kafka; importhttps://www.cnblogs.com/ylty/p/13673357.html引入依赖 compile 'org.springframework.kafka:spring-kafka'第一套kafka配置package

【README】本文主要用于描述 kafka 消费者如何从头开始消费；【1】从头开始消费1）从头开始消费，需要满足两个条件， 如下：条件1， 使用一个全新的消费者组id； 条件2，指定 auto.offset.reset 为 earliest ；2）代码如下：public static void main(String[] args) { /* 1.创建消费者配置信息 */ Properties props = new Properties(); /*2.给配置信息赋值

转自：Kafka 消费者 Java 实现 - 简书应用程序使用 KafkaConsumer向 Kafka 订阅 Topic 接收消息，首先理解 Kafka 中消费者（consumer）和消费者组（consumer group...https://www.jianshu.com/p/1f9e18e926f6据原文作者，以下内容总结自 《kafka权威指南》；应用程序使用 KafkaConsumer向 Kafka 订阅 Topic 接收消息，首先理解 Kafka 中消费者（consumer）和消费者组（

转自： Java程序创建Kafka Topic，以及数据生产消费，常用的命令_Zyy_z_的博客-CSDN博客_java kafka创建topicKafka简介： Kafka是一个分布式发布——订阅消息传递系统。Kafka快速、可扩展且耐用。它保留主题中的消息源。生产者将数据写入主题，消费者从主题中读取数据。Kafka的特点： 1. 同时为分布和订阅提供高吞吐量。据了解，Kafka每秒可以生产约25万条消息（50MB），每秒处理55万条消息...https://blog.csdn.net/Zyy_z_/ar

【RAEDME】本文中， java客户端作为生产者， centos中consumer线程作为消费者；【1】拦截器简述1）拦截器是什么？ 很明显，为了实现面向切面编码，即在 具体逻辑的上下文添加一些逻辑；如逻辑1具体逻辑逻辑22）什么时候调用拦截器？这就要从 kafka生产者发送数据说起了；kafka生产者使用了2个线程来发送数据： step1）生产者中的main线程把数据经过 拦截器-》序列化器-》分区器 处理；然后再把数据写到 RecordAccumulator；..

【README】本文主要对 java客户端作为kafka 消费者进行测试， 生产者由 kafka客户端扮演；【1】普通消费者设置消费者组；重置消费者的offset， 即每次都从最头开始消费（默认仅保持7天内数据） ；类似于 命令行 --from-beginningkafka-console-consumer.sh --topic first --zookeeper centos201:2181 --from-beginning小结：从头开始消费，必须满足2个条件；条..

【README】本文主要对 java客户端作为kafka 生产者进行测试， 消费者由 centos的kafka命令行线程扮演；【1】普通生产者1.1、生产者代码/** * 普通生产者 */public class MyProducer { public static void main(String[] args) { /* 1.创建kafka生产者的配置信息 */ Properties props = new Properties(); /*2.指定连接的ka...

【README】 java作为生产者，centos 作为消费者；【1】生产者代码-- pom.xml <!-- 依赖 --> <dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.0.

【README】【1】搭建kafka集群1、下载 kafka jar包， https://kafka.apache.org/downloadshttps://archive.apache.org/dist/kafka/0.11.0.0/kafka_2.11-0.11.0.0.tgz2、修改配置文件； kafka/config/server.properties-- kafka代理实例编号 broker.id=1-- 是否可以删除topicdelete.topic.enable=t

转自：https://blog.csdn.net/tangdong3415/article/details/53432166一、基本概念介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？首先让我们看几个基本的消息系统术语：Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka...

转自：https://developer.ibm.com/zh/articles/os-cn-kafka/消息队列消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走。通过消息队列，应用程序可独立地执行–它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。在分布式计算环境中，为了集成分布式应用，开发者需要对异构网络环境下的分布式应用提供有效的通信手段。为了管理需要共享的信息，对应用提供公共的信息交换机制是重要的。...

【README】基于命令行开启生产者，消费者线程，测试kafka的消费转发功能；【1】生产者与消费者生产者201[root@centos201 logs]# kafka-console-producer.sh --topic first --broker-list centos201:9092>hello-world>sichuan-changdu>消费者202[root@centos202 logs]# kafka-console-consumer.s.

【README】 kafka集群-- kafka集群 3台机器 centos201 192.168.163.201centos202192.168.163.202centos203192.168.163.203【1】主题topic 操作命令 序号 命令 1 kafka-topics.sh -- create 新增 2 kafka-top...

【README】 由于集群有多台机器，启动kafka ，查看其状态，都需要每台机器去执行命令， 可以写个脚本基于ssh免密登录批量执行；【1】启动kafak (kk.sh)#!/bin/bashcase $1 in "start"){ for i in centos201 centos202 centos203 do echo "**********$i kafka start **********" ssh $i "/opt/module/kafka-0.11/bin/..