flume
关注
分享
扫一扫
小米吃辣椒2022
本人毕业于湖北工业大学，目前已有7年的工作经验，先后涉猎于电商，农业大数据，智慧停车，城市智慧大脑，公安指挥调度，海康云商电商平台，智慧物流等软件开发行业，目前就职于稳健医疗java全栈工程师岗位，负责智慧物流产品百台服务器核心架构设计及研发工作，对多线程，高并发，架构设计，应用虚拟容器，微服务，数据库中间件，消息中间件以及大数据生态圈，web前端技术有丰富的认知和开发经验。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
spark streaming 整合 flume两种方式 push 和 pull
一、push 方式 ：spark streaming 整合 flume 配置开发cd $FLUME_HOMEcd conf编写 flume配置文件， vim flume_push_streaming.confsimple-agent.sources = netcat-sourcesimple-agent.sinks = avro-sinksimple-age...原创 2019-01-03 15:22:45 · 1286 阅读 · 0 评论 -
大数据之 Flume 日志收集框架入门
Flume 日志收集框架入门 一、 flume 简介Apache Flume是一个分布式，可靠且可用的系统，用于有效地从许多不同的源收集，聚合和移动大量日志数据到集中式数据存储。Apache Flume的使用不仅限于日志数据聚合。由于数据源是可定制的，因此Flume可用于传输大量事件数据，包括但...原创 2018-12-26 11:22:47 · 1229 阅读 · 0 评论 -
spark streaming 整合flume ，kafka 打造通用流处理
一、编写LoggerGenerator.java文件用于生成日志信息添加依赖 <dependency> <groupId>org.apache.flume.flume-ng-clients</groupId> <artifactId>flume-ng-log4jappender&...原创 2019-01-14 21:25:38 · 1389 阅读 · 0 评论