本文介绍了如何使用Flume将服务器特定目录下的新文件实时采集到HDFS，以及监控文件内容更新并将其发送到HDFS的配置案例。配置包括定义source（如spooldir, exec）、sink（hdfs）和channel（如memory channel），并详细展示了配置文件的内容。"
48311087,2865113,MATLAB基础教程：标号与运算符号解析,"['MATLAB', '编程语言', '数学运算']
1、采集目录到HDFS
采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去
根据需求，首先定义以下3大要素
- 采集源，即source——监控文件目录 : spooldir
- 下沉目标，即sink——HDFS文件系统 : hdfs sink
- source和sink之间的传递通道——channel，可用file channel 也可以用内存channel
配置文件编写：
#定义三大组件的名称
agent1.sources = source1
agent1.sinks = sink1
agent1.channels = channel1
# 配置source组件
agent1.sources.source1.type = spooldir
agent1.sources.source1.spoolDir = /home/hadoop/logs/
agent1.sources.source1.fileHeader = false
#配置拦截器
agent1.sources.source1.interceptors = i1
agent1.sources.source1.interceptors.i1.type = host
agent1.sources.source1.interceptors.i1.hostHeader = hostname
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
