运维入坑实践之ELK收集nginx日志

最新推荐文章于 2024-09-15 22:07:04 发布

原创最新推荐文章于 2024-09-15 22:07:04 发布 · 464 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#运维 #devops #centos #linux

本文介绍如何使用Logstash收集Nginx服务的日志，并通过解析将关键信息存储到Elasticsearch中，最后利用Kibana进行数据展示。

需求分析：

收集nginx访问日志，并解析出日志中的各字段信息。

收集流程：

logstash搜集服务日志并对日志进行字段解析处理，处理完成后将数据写入elsaticsearch，kinban负载数据展示。

实现步骤：

logstash配置:

##详细配置及部分配置项解释
input {
    file{
        path => "/data/nginx.log" ##源日志路径
        type => "nginx01" ##同一配置文件中有多个input，可以使用type区分
        start_position => "beginning"
        codec => plain 
    }
}


filter {
    if [type] == "nginx01" {
        mutate {
            gsub =>["message",'"',""] ##将日志信息中的’“‘替换为空
            split => ["message","|"]  ##各字段信息以’|‘ 分割，此项必须声明，不指定将无法解析字段
                add_field => {
                    "IP_ADDR" => "%{[message][0]}" ##给需要收集到es里面的数据设置别名
                }
                add_field => {
                    "DOMAIN_NAME" => "%{[message][1]}"
                }
                add_field => {
                    "UPSTREAM_ADDR" => "%{[message][2]}"
                }
                add_field => {
                    "HTTP_CODE" => "%{[message][6]}"
                }
                add_field => {
                    "HTTP_REFER" => "%{[message][8]}"
                }
                add_field => {
                    "USER_AGENT" => "%{[message][9]}"
                }
		remove_field => ["message","@version","path","beat","tags","type","input_type"] ##移除无用字段信息
       	 }
    }

}
output{
    elasticsearch {
        hosts => [ "192.168.25.101:9200", "192.168.25.102:9200", "192.168.25.103:9200" ] ##输出到es集群
        index => "nginx00-%{+YYYY.MM.dd}" ##定义索引格式
    }
}