flume采集多个文件夹日志

最新推荐文章于 2023-03-24 14:55:41 发布

我在北国不背锅

最新推荐文章于 2023-03-24 14:55:41 发布

阅读量4.6k

点赞数

CC 4.0 BY-SA版权

分类专栏： Flume 文章标签： flume

本文链接：https://blog.csdn.net/weixin_44455388/article/details/107064091

Flume 专栏收录该内容

3 篇文章

订阅专栏

本文介绍如何使用Flume 1.7版本的TAILDIR源来监控多个目录下的文件变化，包括配置示例，如设置偏移量文件位置、定义监控的文件组和文件类型等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在flume1.6版本及之前，如果想要监控多个目录下的多个文件，可以使用Filelistener，在flume1.7之后，增加了TAILDIR，主要是监控文件的变化

参考配置:

#配置Agent a1 的组件
a1.sources=r1
a1.sinks=s1
a1.channels=c1
 
#描述/配置a1的source1
a1.sources.r1.type=TAILDIR
#偏移量文件
a1.sources.r1.positionFile = /opt/module/flume/data/taildir_position.json
#文件的组，可以定义多种
a1.sources.r1.filegroups = f1 f2
#第一组监控的是test1文件夹中的什么文件：.log文件
a1.sources.r1.filegroups.f1 = /opt/module/flume/data/test1/.*log
#第二组监控的是test2文件夹中的什么文件：以.txt结尾的文件
a1.sources.r1.filegroups.f2 = /opt/module/flume/data/test2/.*txt
 
#描述sink
a1.sinks.s1.type=file_roll
a1.sinks.s1.sink.directory=/home/work/rolldata
a1.sinks.s1.sink.rollInterval=0
 
#描述内存channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100
 
#位channel 绑定 source和sink
a1.sources.r1.channels=c1
a1.sinks.s1.channel=c1