Kafka线上部署方案

最新推荐文章于 2024-11-18 11:42:57 发布
原创 最新推荐文章于 2024-11-18 11:42:57 发布 · 307 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

1.操作系统选择

Linux/Windows/MacOS 三种操作系统kafka最好的搭档还是Linux，原因有几个方面

a.I/O模型

kafka客户端的I/O使用Java的Selector实现，Selector在Linux上的实现机制是epoll，在Windows上是select。性能上不如Linux。

b.数据传输效率

Linux支持零拷贝（ZeroCopy）,而Windows直到Java 8的60更新版本
才支持这个功能。
零拷贝:把内核空间地址和用户空间的虚拟地址映射到同一个物理地址，这样DMA就可以填充对内核和用户空间进程同时可见的缓冲区了。省去了内核与用户空间的往来拷贝，java也利用操作系统的此特性来提升性能。

c.社区的支持度

Kafka官方基本上不修复Windows存在的Bug

2.磁盘选择

kafka基本上是顺序读写，机械硬盘就可以支持，不需要固态硬盘

3.磁盘容量

4.集群数量

jiarus
关注
【大数据Kafka系列】Kafka术语和线上集群部署方案
weixin_54707168的博客
04-10 264
【大数据Kafka系列】Kafka术语和线上集群部署方案
Kafka快速入门（六）——Kafka集群部署
05-26 208
一、Kafka集群部署方案规划 1、操作系统选择 通常，生产环境应该将Kafka集群部署在Linux操作系统上，原因如下： （1）Kafka客户端底层使用了Java的selector，selector在Linux上的实现机制是epoll，而在Windows平台上的实现机制是select，因此Kafka部署在Linux上能够获得更高效的I/O性能。 （2）网络传输效率的差别。Kafka需要在磁盘和网络间进行大量数据传输，在Linux部署Kafka能够享受到零拷贝（Zero Copy）技术所带来的快速数据传输特
kafka集群部署搭建【详细版】
最新发布
xgysimida的博客
11-18 3881
因项目需要，需搭建kafka集群进行验证工作。系统环境真的很重要，这会影响排查问题的效率。但是大部分博客编写的时候基本上都没有记录这些，这就会导致有些命令不是共通的。#1 系统版本#2 jdk版本至此，kafka集群搭建完毕，大家如果有什么疑问，请及时和我沟通交流。
kafka集群方案选型
02-03
kafka集群方案选型
Kafka 集群部署
Yuanshigou9的博客
01-16 3997
Kafka_集群部署：搭建ZooKeeper集群、搭建Kafka集群、测试Zookeeper和Kafka集群
Kafka线上环境部署
一剪梅的博客
02-18 310
本章内容是如何规划 Kafka 服务器的相关内容. 1.操作系统选型 linux 效率优于 windows. 因为 I/O 模型和网络传输效率(sendfile). 2.磁盘规划 1.性价比 JBID 优于 RAID 2.使用机械盘完全可以满足 Kafka 集群的使用，SSD 更好. 3.磁盘容量规划 1.新增消息数 2.消息留存时间 3.平均消息大小 4.副本数 5.是否启用压缩 4.内存规划 ...
Kafka的集群生产部署方案
yang灬仔
04-21 1209
方案背景： 假设每天集群需要承载10亿数据。一天24小时，晚上12点到凌晨8点几乎没多少数据。使用二八法则估计，也就是80%的数据(8亿)会在16个小时涌入，而且8亿的80%的数据(6.4亿)会在这16个小时的20%时间(3小时)涌入。QPS计算公式：640000000 ÷ (3x60x60) = 60000，也就是说高峰期的时候Kafka集群要扛住每秒6万的并发。磁盘空间计算，每天10亿数据，每条50kb，也就是46T的数据。保存2个副本(在上一篇中也提到过其实两个副本会比较好，因为followe.
06-Kafka线上集群部署方案怎么.pdf
05-19
现在我们就来看看在生产环境中的Kafka集群方案该怎么做。既然是集群，那必然就要有多个Kafka节点机 器，因为只有单台机器构成的Kafka伪集群只能用于日常测试之用，根本无法满足实际的线上生产需求。而 真正的线上...
06 | Kafka线上集群部署方案怎么做？
qq_37756660的博客
04-29 672
最后是社区的支持度。这一点虽然不是什么明显的差别，但如果不了解的话可能比前两个因素对你的影响更大。简单来说就是，社区目前对 Windows 平台上发现的 Kafka Bug 不做任何承诺。虽然口头上依然保证尽力去解决，但根据我的经验，Windows 上的 Bug 一般是不会修复的。
Kafka线上集群部署策略：操作系统与性能优化详解
Apache Kafka 是一个分布式流处理平台，主要用于实时数据处理和消息传递。本文档详细探讨了如何在生产环境中部署 Kafka...理解这些要素并结合业务需求制定合适的部署方案，才能确保 Kafka 在生产环境中的高效稳定运行。
Kafka学习之旅(三): 部署方案
u012957549的博客
07-22 356
上文中讲到参数配置,本文主要针对磁盘操作系统带宽分析线上部署Kafka的方案。 操作系统 Kafka主要是scala编写的运行在JVM之上的，我们知道JVM有一个特性叫做一次编译到处运行的特点那么为什么我们还要对操作系统进行选择呢。主要有如下三点考虑。 I/O 模型 什么是 I/O 模型呢？你可以近似地认为 I/O 模型就是操作系统执行 I/O 指令的方法。 主流的 I/O 模型通常有 5 种类...
kafka线上部署
谢白羽
10-26 603
文章目录一、kafka网络模型二、kafka零拷贝技术的支持三、机械硬盘HDD和固态硬盘SSD的抉择四、普通磁盘JBOD和磁盘阵列RAID的抉择五、关于NAS网络设备的考虑六、磁盘容量规划七、内存规划八、kafka的CPU规划（与redis的对比）九、带宽规划十、线上部署环境配置（推荐配置） 一、kafka网络模型 二、kafka零拷贝技术的支持 三、机械硬盘HDD和固态硬盘SSD的抉择 四、普通磁盘JBOD和磁盘阵列RAID的抉择 五、关于NAS网络设备的考虑 六、磁盘容量规划 七、内存规划 八、kafk
Hello Kafka（六）——Kafka集群部署
天山老妖
02-24 2090
一、Kafka集群部署方案规划 1、操作系统选择 通常，生产环境应该将Kafka集群部署在Linux操作系统上，原因如下： （1）Kafka客户端底层使用了Java的selector，selector在Linux上的实现机制是epoll，而在Windows平台上的实现机制是select，因此Kafka部署在Linux上能够获得更高效的I/O性能。 （2）网络传输效率的差别。Kafka需要在磁盘和网络间进行大量数据传输，在Linux部署Kafka能够享受到零拷贝（Zero Copy）技术所带来的快速数
Kafka的安装及部署
seo232323的博客
10-11 395
停止Kafka集群时，一定要等Kafka所有节点进程全部停止后再停止Zookeeper集群。因为Zookeeper集群当中记录着Kafka集群相关信息，Zookeeper集群一旦先停止，Kafka集群就没有办法再获取停止进程的信息，只能手动杀死Kafka进程了。5）修改分区数 （注意：分区数只能增加，不能减少）1）查看操作主题命令参数。4）查看某个主题详情。
kafka集群方案教程
weixin_30394333的博客
04-02 943
https://www.cnblogs.com/justuntil/p/8033792.html https://www.cnblogs.com/saneri/p/8762168.html 2篇文章结合起来看。 转载于:https://www.cnblogs.com/puzi0315/p/10644623.html
Maxwell_kafka_bireme同步数据部署方案
kiddyt05的博客
04-15 2063
目录Kafka部署... 1Maxwel部署... 2bireme部署... 2注意事项... 3 Kafka部署apt-get update wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz tar -xvf kafka_2.11-1.1.0.tgz kafka分布式部署需要通过z...
kafka多种方式部署
qq_41389051的博客
11-23 825
Kafka集群配置比较简单，为了更好的让大家理解，在这里要分别介绍下面三种配置 单节点：一个broker的集群 单节点：多个broker的集群 多节点：多broker集群 一、单节点单broker实例的配置 首先启动zookeeper服务 Kafka本身提供了启动zookeeper的脚本（在kafka/bin/目录下）和zookeeper配置文件（在kafka/config/目录下），首先进入Kafka的主目录（可通过 whereis kafka命令查找到）： [root@localhost kafka
Kafka生产优化之Kafka 的线上部署方案
959
02-23 955
1.操作系统 部署在 Linux 上 I/O 模型 数据网络传输效率 1.1 I/O 模型层面 I/O 模型是操作系统执行 IO 指令的方法。 分别有五种类型 阻塞式 IO 非阻塞式 IO IO 多路复用 信号驱动 IO 异步 IO 可以简单认为后面的模型比前面的模型要更高效，epoll 模型介于第三种和第四种之间，select 属于第三种。 Kafka 的客户端底层使用了 Java 的 selector，而 selector 在 Linux 的实现是 epoll，在 Windows 上实现机制为
Kafka（二）- Kafka集群部署
及时当勉励，岁月不待人
11-29 6575
Kafka（二）- Kafka集群部署
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值