weixin_38251332的博客

kafka命令行操作

kafka offset

kafka重置消费位点一般分几种情况重置到最新的消费位点重置到最早的消费位点根据时间戳重置消费位点跟据指定偏移量重置消费位点基于kafka 2.0.0package org.apache.dolphinscheduler.realtime.kafka;import lombok.extern.slf4j.Slf4j;import org.apache.commons.lang3.StringUtils;import org.apache.dolphinscheduler.realti

通过指定的时间戳来获取offset，从此offset来消费数据 public List<ConsumerRecordDtoNew> consumerByTimestamp(long timestamp) { //=========================== //时间戳设置// Map<TopicPartition, OffsetAndMetadata> offset = new HashMap<>();

基于kafka 2.0 版本开发，需要以下依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.0.0</version> </dependency>基础类

文章目录kafka事务的应用场景示例demokafka事务的应用场景在Kafka事务中，一个原子性操作，根据操作类型可以分为3种情况。情况如下：只有Producer生产消息，这种场景需要事务的介入；消费消息和生产消息并存，比如Consumer&Producer模式，这种场景是一般Kafka项目中比较常见的模式，需要事务介入。Kafka的事务主要用来处理consume-process-produce场景的原子性问题；只有Consumer消费消息，这种操作在实际项目中意义不大，和手动Comm

文章目录概述kafka时间戳的作用kafka 参数关于从ConsumerRecord获取时间戳为-1的说明概述Kafka从0.10.0.0版本起，在消息内新增加了个timestamp字段，在Kafka 0.10.1.0以前(不包含0.10.1.0)，对于一个Topic而言，其Log Segment是由一个.log文档和一个.index文档组合而成，分别用来存储具体的消息数据和对应的偏移量从Kafka 0.10.1.0开始，对于日志文档，新增一个.timeindex文档，即每个Segment分别由.

文章目录zookeeper安装部署配置：zoo.cfg创建数据和日志目录创建myid文件zk使用zookeeper可视化:kafkakafka伪分布式安装部署beatsfilebeatmetricbeat 配置elasticsearchlogstashkibana本博客是演示基于filebeat->kafka->logstash->elasticsearch->kibana 数据采集、及数据可视化分析系统搭建。包括配置方法、使用实例、运维脚本zookeeper安装部署采用伪集

#!/usr/bin/env bash# --------------------------------------------------------------# Author :lijianjun# Create Time :2020-04-16 12:56# Description :Kafka cluster 管理脚本# --------------------------------------------------------------# This

文章目录问题一问题二重点释惑采坑记避免重复消费的处理目前重复消费的问题说明后记kafka 后端埋点数据实时同步到 GP集群，出现重复消费问题有两方面的原因。问题一由于gp集群的并发量限制，每到任务提交的高峰期，执行一条sql并返回结果需要排队很长时间，一旦排队时间大于5分钟，就会大于kafka consumer 两批poll(long)方法之间默认的处理时间。处理线程会认为此consume...

文章目录特别说明listenersadvertised.listeners介绍区别什么场景用到只有内网内外网客户端连接kafka集群流程特别说明kafka 0.9.x以后的版本新增了advertised.listeners配置kafka 0.9.x以后的版本不要使用 advertised.host.name 和 advertised.host.port 已经deprecatedhost.n...

概述自0.9.0.0.版本引入Security之后，Kafka一直在完善security的功能，以提高kafka集群的安全性。当前Kafka security主要包含3大功能：认证(authentication)、信道加密(encryption)和授权(authorization)。认证Kafka SASL的认证范围包含如下：Client与Broker之间Broker与Broker之间...