weixin_45267102的博客

文章目录Flume对接Kafka1. 配置和启动kafka1.1 kafka.conf☆1.2 启动flume2. 启动kafka消费者并测试2.1 测试☆Flume对接Kafka1. 配置和启动kafka1.1 kafka.conf☆# definea1.sources = r1a1.sinks = k1a1.channels = c1# sourcea1.sources.r1.type = netcata1.sources.r1.bind = hadoopa1.sources.r

文章目录kafka监控-Eagle1. 安装配置Eagle2. 登录页面查看监控数据☆kafka监控-Eagle1. 安装配置Eagle安装包：kafka-eagle-bin-1.3.7.tar.gz#修改 kafka 启动命令vim kafka-server-start.shif [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m

文章目录自定义拦截器Interceptor1. 拦截器原理2. 拦截器案例2.1 需求2.2 代码实现TimeInterceptorCounterInterceptorInterceptorProducer2.3 测试☆自定义拦截器Interceptor1. 拦截器原理Producer 拦截器(interceptor)是在 Kafka 0.10 版本被引入的，主要用于实现 clients 端的定制化控制逻辑。对于 producer 而言，interceptor 使得用户在消息发送前以及 prod

文章目录Kafka Producer和Consumer API1. Producer API1.1 消息发送流程1.2 异步发送API不带回调函数的 API自定义分区生产者带回调函数的API1.3 同步发送API2. Consumer API2.1 自动提交 offset2.2 手动提交 offset同步提交 offset异步提交 offset自定义存储 offset☆Kafka Producer和Consumer API1. Producer API1.1 消息发送流程Kafka 的 Produ

Kafka 的 producer 生产数据，要写入到 log 文件中，写的过程是一直追加到文件末端，为顺序写。官网有数据表明，同样的磁盘，顺序写能到 600M/s，而随机写只有 100K/s。这与磁盘的机械机构有关，顺序写之所以快，是因为其省去了大量磁头寻址的时间。

push （推）模式很难适应消费速率不同的消费者，因为消息发送速率是由 broker 决定的。它的目标是尽可能以最快速度传递消息，但是这样很容易造成 consumer 来不及处理消息，典型的表现就是拒绝服务以及网络拥塞。而 pull 模式则可以根据 consumer 的消费能力以适当的速率消费消息。pull 模式不足之处是，如果 kafka 没有数据，消费者可能会陷入循环中，一直返回空数据。针对这一点，Kafka 的消费者在消费数据时会传入一个时长参数 timeout，如果当前没有数据可供消费，consu

文章目录kafka生产者1. 分区策略2. 数据可靠性保证2.1 副本数据同步策略2.2 ISR2.3 ack应答机制acks参数配置：2.4 故障处理细节follower 故障leader 故障3. Exactly Once语义☆kafka生产者1. 分区策略分区的原因方便在集群中扩展，每个 Partition 可以通过调整以适应它所在的机器，而一个 topic又可以有多个 Partition 组成，因此整个集群就可以适应任意大小的数据了；可以提高并发，因为可以以 Partition 为

文章目录Kafka 工作流程及文件存储机制1. Kafka工作流程2.Kafka文件存储机制☆Kafka 工作流程及文件存储机制1. Kafka工作流程Kafka 中消息是以 topic 进行分类的，生产者生产消息，消费者消费消息，都是面向 topic的。topic 是逻辑上的概念，而 partition 是物理上的概念，每个 partition 对应于一个 log 文件，该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该log 文件末端，且

文章目录kafka快速入门1.安装部署1.1 集群规划1.2 jar包下载1.3 集群部署1.4 启动/停止集群myzookeeper.shmykafka.sh2. Kafka命令行操作☆kafka快速入门1.安装部署1.1 集群规划hadoophadoop101hadoop102zkzkzkkafkakafkakafka1.2 jar包下载http://kafka.apache.org/downloads.html我们使用的是：kafka_2.11-

Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。