logstash 安装,配置手册

本文档详细介绍了Logstash的安装步骤,包括解压安装包并移动到指定目录,配置文件std_ruby.conf的上传与内容说明。文章还讨论了配置参数如codec、discover_interval、exclude等,并提供了输入、过滤和输出的示例配置。特别地,配置了两个file输入源,使用ruby插件进行数据处理,并将结果输出到Kafka主题。同时,还涉及到ruby脚本的编写和文件读写权限的设置。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

解压安装包:(到指定的目录) 如:usr/local/
tar -xvf logstash-7.7.0.tar.gz
mv logstash-7.7.0 logstash

将配置文件std_ruby.conf上传到 /usr/local/logstash/config/

添加配置文件说明
codec => #可选项,默认是plain,可设置其他编码方式。
discover_interval => #可选项,logstash多久检查一下path下有新文件,默认15s。
exclude => #可选项,排除path下不想监听的文件。
sincedb_path => #可选项,记录文件以及文件读取信息位置的数据文件。~/.sincedb_xxxx
sincedb_write_interval => #可选项,logstash多久写一次sincedb文件,默认15s.
stat_interval => #可选项,logstash多久检查一次被监听文件的变化,默认1s。
start_position => #可选项,logstash从哪个位置读取文件数据,默认从尾部,值为:end。初次导入,设置为:beginning。
path => #必选项,配置文件路径,可定义多个。
tags => #可选项,在数据处理过程中,由具体的插件来添加或者删除的标记。
type => #可选项,自定义处理时间类型。比如nginxlog。
sincedb_clean_after=>
值类型是数字或string_duration类型,此设置的默认值为"2 weeks"。
如果指定了一个数字,那么它将被解释为天,并且可以是十进制,例如0.5是12小时。
现在,sincedb记录具有与其关联的最后一个活动时间戳记。如果在过去N天内未在跟踪的文件中检测到任何更改,则它的sincedb跟踪记录将过期,并且不会保留。
配置为1s,则表示这个跟踪记录会在1s过期,这就意味着sincedb文件没有记录它了,认为它是新文件,这样我们就可以重复测试上述示例了。

i

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值