ZJ__ZFH的博客

Flume概念Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单下图展示了为什么要使用Flume 为什么使用Flume.png Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFSFlume组成架构借用Flume官网的图，如下图 flume组成架构...

Flume安装地址Flume官网地址http://flume.apache.org/ 文档查看地址http://flume.apache.org/FlumeUserGuide.html 下载地址http://archive.apache.org/dist/flume/安装部署将apache-flume-1.7.0-bin.tar.gz上传到linux的/opt/software目录下...

监控端口数据官方案例需求首先，Flume监控本机55566端口，然后通过telnet工具向本机55566端口发送消息，最后Flume将监听的数据实时显示在控制台分析通过telnet工具向本机的55566端口发送数据 Flume监控本机的55566端口，通过Flume的source端读取数据 Flume将获取的数据通过Sink端写出到控制台实现步骤安装telnet 在/o...

本文操作是在CentOS7下操作的Ganglia的安装与部署安装httpd服务与php sudo yum -y install httpd php 安装其他依赖 sudo yum -y install rrdtool perl-rrdtool rrdtool-devel sudo yum -y install apr-devel 安装ganglia sudo yum -y in...

自定义Source说明Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。官方提供的source类型已经很多，但是有时候并不能满足实际开发当中的需求，此时我们就需...

需求flume-1监控hive.log日志，flume-1的数据传送给flume-2，flume-2将数据追加到本地文件，同时将数据传输到flume-3。 flume-4监控本地另一个自己创建的文件any.txt，并将数据传送给flume-3。 flume-3将汇总数据写入到HDFS。实现步骤准备工作 在/opt/module/flume/job目录下创建group4文件夹 在/...