嘻哈吼嘿呵的博客

一、Kafka 监控Kafka Eagle配置 1、修改 kafka 启动命令 修改 kafka-server-start.sh 命令中 if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" fi 改为 if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then ...

一、高效读写数据 1、顺序写磁盘 Kafka 的 producer 生产数据，要写入到 log 文件中，写的过程是一直追加到文件末端，为顺序写。 官网有数据表明，同样的磁盘，顺序写能到 600M/s，而随机写只有 100K/s。这与磁盘的机械机构有关，顺序写之所以快，是因为其省去了大量磁头寻址的时间。 2、零复制技术（待研究） 二、Zookeeper 在 Kafka 中的作用 Ka...

目录 一、Kafka 工作流程及文件存储机制 1、工作流程 2、文件存储机制 二、Kafka 生产者 1、分区策略 2、数据可靠性保证 （1）副本数据同步策略 2） ISR 3） ack 应答机制 4）故障处理细节 5）、Exactly Once 语义 三、Kafka 消费者 1、消费方式 2、分区分配策略（待研究） 3、offset 的维护 4、消费者组案例 一...

一、Kafka 概述 Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue） ， 主要应用于大数据实时处理领域。 1、消息队列 （1）传统消息队列的应用场景 （2）使用消息队列的好处 1） 解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2） 可恢复性 系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的...

一、Kafka架构 它的架构包括以下组件： 话题（Topic）：是特定类型的消息流。消息是字节的有效负载（Payload），话题是消息的分类名或种子（Feed）名。 生产者（Producer）：是能够发布消息到话题的任何对象。 服务代理（Broker）：已发布的消息保存在一组服务器中，它们被称为代理（Broker）或Kafka集群。 消费者（Consumer）：可以订阅一个或多个话题，并...

一、解压并安装 tar -zxvf /home/sxp/soft_packages/kafka_2.11-2.1.0.tgz -C /usr/softwares/ 二、修改配置文件 kafka_2.11-2.1.0/config/server.properties broker.id=2 每个节点不同 log.retention.hours=168 message.max.byte...