
Flume
文章平均质量分 91
程序员学习圈
值得去的地方,没有捷径;难走的路,才更值得开始!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Flume 经验浅谈
1.Flume 的停止 使用 kill 停止 Flume 进程。 不可使用 kill -9,因为 Flume 内部注册了很多钩子函数执行善后工作,如果使用 kill -9 会导致钩子函数不执行,使用 kill 时,Flume 内部进程会监控到用户的操作,然后调用钩子 函数,执行一些善后操作,正常退出。 2.Flume 数据丢失问题的讨论 在一些网络资料中...原创 2018-09-21 18:15:13 · 1346 阅读 · 0 评论 -
Flume 组件介绍
1.Flume 组件介绍 名称 解析 Event 一个数据单元,带有一个可选的消息头,其实就是一条消息, 一个日志;(Kafka 的消息没有消息头,因此,Flume 的消息进入 Kafka 后,消息头就丢失了) Flow 数据流,Event 从源点到达目的点的迁移的抽象 ...原创 2018-09-21 18:03:55 · 3551 阅读 · 0 评论 -
Flume 监控之Ganglia
1.Ganglia的安装与部署(1) 安装httpd服务与php [luomk@hadoop102 flume]$ sudo yum -y install httpd php(2) 安装其他依赖 [luomk@hadoop102 flume]$ sudo yum -y install rrdtool perl-rrdtool rrdtool-devel [lu...原创 2018-09-21 15:57:54 · 882 阅读 · 1 评论 -
Flume 案例实操
1.监控端口数据官方案例(1) 案例需求:首先,Flume监控本机44444端口,然后通过telnet工具向本机44444端口发送消息,最后Flume将监听的数据实时显示在控制台。(2) 需求分析: (3) 实现步骤:① 安装telnet工具 在/opt/software目录下创建flume-telnet文件夹 [luomk@hadoop10...原创 2018-09-21 13:17:17 · 307 阅读 · 0 评论 -
Flume 安装部署
1.Flume安装地址(1) Flume 官网地址:http://flume.apache.org/(2) 文档查看地址:http://flume.apache.org/FlumeUserGuide.html(3)下载地址:http://archive.apache.org/dist/flume/ 2.安装部署(1) 将apache-flume-1.7.0-bin.tar....原创 2018-09-21 11:39:27 · 245 阅读 · 0 评论 -
Flume 简单概述
1.Flume概念 Apache Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输系统。Flume基于流式架构,灵活简单,支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 2.为什么使用Flume 3.Flume组成架...原创 2018-09-21 11:11:02 · 298 阅读 · 0 评论