
Kafka
cindysz110
望尘莫及,日积月累。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
[Hadoop] Kafka + Spark Streaming 数据零丢失
Kafka:输入Spark Streaming:伪实时流处理 batch批次 1s :> = 0 0,1...100...DB:输出 Redis/ES雪崩效应 Job全部hung在那里 解决一般是手工kill ==> 如何保证数据0丢失流处理程序 bug => 挂了 => 下次再启动,也要保证数据0丢失生产上如何确认spark和kafka的版本...原创 2018-08-27 16:06:35 · 841 阅读 · 0 评论 -
[Hadoop] CentOS7 部署Kafka0.10.2.1(单节点)
1. 软件版本操作系统:CentOS7.3 Scala版本:2.11.12 Zookeeper:zookeeper-3.4.5-cdh5.7.0 Kafka版本:0.10.2.1(版本选择收spark straming+scala版本限制)当前系统已经安装好scala和zookeeper。 2. Kafka安装下载解压[hadoop@hadoop01 software...原创 2018-09-29 17:34:26 · 594 阅读 · 0 评论