
flume
我是60岁程序员
比你优秀的人还在奔跑,我为什么要停下来
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Flume配置文件
使用flume的关键就是写配置文件 A)配置source B)配置channel C)配置sink D)把三个组件串起来 a1:agent名称 r1:source名称 k1:sink名称 c1:channel名称 Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 Describe/con...原创 2018-10-11 17:16:00 · 313 阅读 · 0 评论 -
Flume:A机器到B机器的日志收集配置
日志收集过程: 1)机器A上监控一个文件,当我们访问主站时会有用户行为日志记录到access.log 2)avro sink把新产生的日志输出到对应的avro source指定的hostname和port上 3)通过avro source对应的agent将我们的日志输出到控制台(kafka) 技术选型: exec source + memory channel + avro sink avro...原创 2018-10-11 17:24:22 · 446 阅读 · 0 评论 -
整合flume和kafka
技术选型: exec source + memory channel + avro sink avro source + memory channel + kafka sink name:exec-memory-avro.conf a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = exec a1.source...原创 2018-10-11 17:40:36 · 136 阅读 · 0 评论 -
SparkStreaming整合Flume --push方式与--pull方式
test-flume-push-streaming.conf #flume-push-streaming flume-push-streaming.sources = netcat-source flume-push-streaming.sinks = avro-sink flume-push-streaming.channels = memory-channel flume-push-s...原创 2018-10-12 15:08:32 · 641 阅读 · 0 评论