ELK 日志监控平台（一）- 快速搭建

原创 已于 2024-05-19 10:33:22 修改 · 1.5w 阅读 · 206 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#elk #日志监控 #搜索引擎 #elasticsearch #logstash

于 2024-05-18 19:03:28 首次发布

文章目录

ELK 日志监控平台（一）- 快速搭建

1.ELK 简介

ELK（Elasticsearch, Logstash, Kibana）是一个目前主流的开源日志监控平台。由三个主要组件组成的：

  • Elasticsearch：是一个开源的分布式搜索和分析引擎，可以用于全文检索、结构化检索和分析，它构建在Lucene搜索引擎库之上，是当前使用较为广泛的开源搜索引擎之一。
  • Logstash：一个用于收集、处理和转发日志数据的数据处理管道。Logstash可以从不同的日志源（如文件、应用程序日志、数据库等）中收集日志数据，并对其进行过滤、解析和转换，然后将其发送到Elasticsearch中进行存储和索引。
  • Kibana：一个用于可视化和分析存储在Elasticsearch中的日志数据的用户界面。Kibana提供了一个直观且功能强大的仪表盘，可以根据特定需求创建各种图表、表格和地图，并进行实时数据可视化和监控。

官网地址：https://www.elastic.co/cn/。

本篇文章重点在于，教你如何快速搭建ELK 日志监控平台，有关详细的使用操作会在后续文章进行讲解。

2.Elasticsearch安装部署

官方下载地址：https://www.elastic.co/cn/downloads/past-releases#elasticsearch

在此，鄙人选择 7.17.16 版本，注意此版本号要记好。ELK 的版本最好统一，不然可能会出现版本不兼容的情况。

在这里插入图片描述

选择合适的安装包（本人MACOS系统，其他系统选择对应安装包就行）。

在这里插入图片描述

下载完成后，解压安装包。

在这里插入图片描述

打开终端，进入bin 目录，输入 ./elasticsearch 启动 ES。

cd /elasticsearch-7.17.16/bin
./elasticsearch

在这里插入图片描述

至此ES安装部署完毕。

3.Logstash安装部署

官方下载地址：https://www.elastic.co/cn/downloads/past-releases#logstash

与 Elasticsearch 一致，选择7.17.16版本。

在这里插入图片描述

选择本系统对应的安装包。

在这里插入图片描述

下载完成后，解压安装包。

在这里插入图片描述

打开终端，进入bin 目录，输入./logstash -e "input { stdin {} } output { stdout {} }"启动。

cd /logstash-7.17.16/bin      
./logstash -e "input { stdin {} } output { stdout {} }"

在这里插入图片描述

在控制台输入 hello ，会输出 Logstash 处理后的结果。

在这里插入图片描述

至此Logstash安装部署完毕。

4.Kibana安装部署

官方下载地址：https://www.elastic.co/cn/downloads/past-releases#kibana

与 Elasticsearch 一致，选择7.17.16版本。

在这里插入图片描述

选择与本系统对应的安装包。

在这里插入图片描述

下载完成后，解压安装包。

在这里插入图片描述

打开终端，进入bin 目录，输入./kibana 启动。

cd /kibana-7.17.16/bin      
./kibana

在这里插入图片描述

打开浏览器输入http://localhost:5601/，进入到Kibana界面。

在这里插入图片描述

至此Kibana安装部署完毕。

5.日志收集DEMO

以上完成了ELK的快速搭建。接下来有一个小demo，教你如何利用 ELK 收集日志并查询。

5.1.创建SpringBoot应用

我们先创建一个SpringBoot应用。

依赖导入
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
            <version>2.7.12</version>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.26</version>
        </dependency>
    </dependencies>
日志配置文件 logback.xml
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <!--日志文件所在目录-->
    <property name="LOG_HOME" value="../logs/log" />

    <!--采用打印到控制台，记录日志的方式-->
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <!--日志输出格式-->
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
        </encoder>
    </appender>

    <!-- 采用保存到日志文件 记录日志的方式，
    %d{yyyy-MM-dd HH:mm:ss.SSS}：输出日志发生的时间，精确到毫秒。
    [%thread]：输出日志所在的线程名。
    %-5level：输出日志级别，使用占位符%5level可以保持日志级别的对齐。
    %logger{36}：输出日志所在的类名（只输出类名的后36个字符）。
    %msg：输出日志消息。
    %n：新行。
    -->
    <!--滚动记录文件-->
    <appender name="rollingFile" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <!--日志文件地址-->
        <file>${LOG_HOME}/demoLog.log</file>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--粒度：天。等价于一天一个文件-->
            <fileNamePattern>${LOG_HOME}/demoLog-%d{yyyy-MM-dd}.log</fileNamePattern>
        </rollingPolicy>
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
        </encoder>
    </appender>

    <root level="INFO" additivity="false">
        <appender-ref ref="rollingFile" />
        <appender-ref ref="console" />
    </root>
</configuration>
启动类
@SpringBootApplication
@Slf4j
public class DemoLogApplication implements ApplicationRunner {

    public static void main(String[] args) {
        SpringApplication.run(DemoLogApplication.class,args);
    }

    @Override
    public void run(ApplicationArguments args) throws Exception {
        SimpleDateFormat format = new SimpleDateFormat("hh时mm分ss秒 SSS");
        Random random = new Random();
        while (true){
            TimeUnit.MILLISECONDS.sleep(1000+random.nextInt(1000));
            String format1 = format.format(new Date());
            log.info("测试案例。当前时间：{}",format1);
        }
    }
}
目录结构

在这里插入图片描述

启动项目

在这里插入图片描述

5.2.创建Logstash配置文件

进入Logstash的config目录，创建一个名为 demoLog.conf 文件

在这里插入图片描述

文件内容如下：

input {
  file {
    path => ".../logs/log/demoLog.log"
    start_position => "beginning"
    stat_interval => "3"
    type => "demo_log"
  }
}

output {
   if [type] == "demo_log" {
     elasticsearch {
       hosts => ["http://127.0.0.1:9200"]
       index => "demo_log-%{+YYYY.MM.dd}"
    }
  }
}

属性说明：

  • input：指定Logstash接收数据的输入插件，使用file插件作为输入。file插件用于读取并处理文件中的数据。

    • file：指定使用的输入插件是file插件。

    • path：指定要读取的文件路径。

    • start_position：指定从文件的哪个位置开始读取数据。设置为"beginning"表示从文件的开始位置开始读取数据

    • stat_interval：指定文件的状态检查间隔（以秒为单位）。设置为"3"表示每隔3秒检查一次文件状态，以判断是否有新数据。

    • type：指定数据的类型名称。设置为"nginx-access-log"表示数据的类型是Nginx访问日志。

  • output：指定Logstash处理完数据后的输出插件。使用elasticsearch插件将处理后的日志数据发送到Elasticsearch。

    • type：指定数据的类型名称。
    • elasticsearch：指定使用的输出插件是elasticsearch插件。
      • hosts：指定Elasticsearch集群的主机地址。Logstash将处理后的数据发送到位于"192.168.140.100"主机上，HTTP端口9200的ES节点
      • index：指定数据在Elasticsearch中的索引名称，比如【 filebeat-8.4.1-2023.07.02 】使用[@metadata][version]字段和当前日期来构建索引名称 可以根据采集数据的来源和版本动态创建索引。

5.3.重新启动Logstash

输入以下命令：

./logstash -f ../config/demo_log.conf

在这里插入图片描述

5.4.Kibana配置Index

进入Stack Management，选择索引管理，可以看到我们配置的日志文件。

在这里插入图片描述

创建索引模式

在这里插入图片描述

输入索引模式名称，其实相当于检索索引的正则表达式。

在这里插入图片描述

5.5.Kibana查询日志

进入Discover，即可检索日志信息。

在这里插入图片描述

基于ELK搭建网站实时日志监控平台
weixin_40055163的博客
10-25 3493
基于ELK搭建网站实时日志监控平台 1 为什么要用到ELK 早在传统的单体应用时代，查看日志大都通过SSH客户端登服务器去看，使用较多的命令就是 less 或者 tail。如果服务部署了好几台，就要分别登录到这几台机器上看，等到了分布式和微服务架构流行时代，一个从APP或H5发起的请求除了需要登陆服务器去排查日志，往往还会经过MQ和RPC调用远程到了别的主机继续处理，开发人员定位问题可能还需要根据TraceID或者业务唯一主键去跟踪服务的链路日志，基于传统SSH方式登陆主机查看日志的方式就像图中排查线路的工
ELK 日志监控平台环境搭建及使用说明
Jeanphorn的专栏
11-01 1万+
1. ELK概述ELK，也就是Elasticsearch、Logstash、Kibana三者的结合，是一套开源的分布式日志管理方案.Elasticsearch：负责日志存储、检索和分析LogStash：负责日志的收集、处理Kibana：负责日志的可视化方案： 2. 环境搭建为整体环境创建一个合适的目录，mkdir $project_path/ELK, project_path 根据情况而定，例如”
徒手从零搭建一套ELK日志平台（万字教程）
码农code之路
11-12 680
原文：blog.csdn.net/qq_54523931/article/details/141002535日志分析的概述日志分析是运维工程师解决系统故障，发现问题的主要手段日志主要包括系统日志、应用程序日志和安全日志系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误日志分析的作用分析日志时...
ELK 日志分析系统
最新发布
kgc302的博客
07-01 1188
在数字化转型加速的今天，企业IT系统每天产生海量日志数据，涵盖应用运行状态、用户行为、安全事件等关键信息。然而，传统日志管理方式因分散存储、检索效率低、缺乏深度分析能力，已难以满足高效运维与业务洞察的需求。ELK(Elasticsearch + Logstash + Kibana)作为业界主流的开源日志分析解决方案，通过 Elasticsearch 的分布式搜索与分析能力、Logstash 的数据管道处理、Kibana 的可视化交互，构建了从日志采集、清洗、存储到实时分析的完整闭环。
监控系统---（二）ELK日志分析平台
sss
11-30 2571
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。 通常，日志被分散在储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。 集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般.
从零搭建一个基于 ELK 的日志、指标收集与监控系统
qianshanding0708的博客
09-21 1066
在需要私有化部署的系统中，大部分系统仅提供系统本身的业务功能，例如用户管理、财务管理、客户管理等。但是系统本身仍然需要进行日志的采集、应用指标的收集，例如请求速率、主机磁盘、内存使用量的...
ELK日志平台搭建
在字节里改BUG
12-02 2143
Elasticsearch、Logstash、Kibana 搭建日志平台
ELK日志系统的搭建
adminstate的博客
04-23 2607
ELK日志系统搭建
徒手从零搭建一套ELK日志平台
深入Java世界：探索编程之美与技术深度
11-20 2772
日志分析是运维工程师解决系统故障，发现问题的主要手段日志主要包括系统日志、应用程序日志和安全日志系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误ELK是一个开源的数据分析平台，由三个开源项目Elasticsearch、Logstash和Kibana组成，因此被称为ELKELK主要用于处理和分析大量的日志数据，支持实时搜索、数据可视化和分析。
elk(elasticsearch+logstash+kibana)搭建日志监控平台
who_I_am__的博客
11-05 6125
基于 ELK（Elasticsearch、Logstash、Kibana）技术栈搭建了一个日志监控平台。
ELK日志平台系统搭建
weixin_40444253的博客
03-03 404
ELK日志平台系统搭建
ELK日志收集系统搭建
08-13
NULL 博文链接：https://donald-draper.iteye.com/blog/2302224
ELK日志分析平台搭建全过程
01-27
《ELK日志分析平台搭建指南》 在复杂的IT环境中，日志管理变得至关重要，特别是当有多台服务器和多个业务模块需要实时监控日志时。ELK（Elasticsearch、Logstash、Kibana）日志分析平台因其高效、灵活的特点，成为...
ELK日志分析监控平台
热门推荐
派大星的不眠博客
02-21 2万+
日志对于分析系统、应用的状态十分重要，但一般日志的量会比较大，并且比较分散。 如果管理的服务器或者程序比较少的情况我们还可以逐一登录到各个服务器去查看、分析。但如果服务器或者程序的数量比较多了之后这种方法就显得力不从心。基于此，一些集中式的日志系统也就应用而生。目前比较有名成熟的有，Splunk(商业)、FaceBook 的Scribe、Apache的Chukwa Cloudera的Fluentd、还有ELK等等。
Docker 实践：快速搭建 ELK 日志分析系统
Ade技术笔记
05-30 493
Docker 实践：快速搭建 ELK 日志分析系统，日志分析系统主要解决以下几个问题：日志的收集日志的存储日志的分析不同公司或团队对于日志分析解决方案各不相同，有技术实力的大厂一般自研，本文介绍的 ELK是著名的社区解决方案。ELK 官网（https://www.elastic.co/what-is/elk-stack）具体理论性知识，可自行查阅，下面开始实操搭建。
ELK 学习总结（3）—— 从零搭建一个基于 ELK 的日志、指标收集与监控系统
科技D人生
02-09 737
前言 在需要私有化部署的系统中，大部分系统仅提供系统本身的业务功能，例如用户管理、财务管理、客户管理等。但是系统本身仍然需要进行日志的采集、应用指标的收集，例如请求速率、主机磁盘、内存使用量的收集等。同时方便的分布式系统日志的查看、指标的监控和告警也是系统稳定运行的一个重要保证。为了使得私有化部署的系统能更健壮，同时不增加额外的部署运维工作量，本文提出了一种基于 ELK 的开箱即用的日志和指标收集方案。 背景 在项目中，我们已经使用了 Elasticsearch 作为业务的数据储存，同时利用 ansi
ELK日志平台搭建 （最新版）
m0_71071763的博客
01-03 757
【代码】ELK日志平台搭建 （最新版）
ELK Stack 日志分析监控平台
PennJ的专栏
01-21 2109
ELK Stack最近因工作需要部署一个日志分析监控平台, 最后选型ELK Stack: elasticsearch-2.1.1 logstash-2.1.1 kibana-4.3.1 redis-3.0.6
ELk日志平台搭建
2301_76838634的博客
07-11 6027
服务器数量较少时，使用 rsyslog 或者 脚本(scp) 进行收集、分割日志，再统一汇总到专门存放日志的日志服务器保存管理。查看日志可以把需要的日志文件传到windows主机上，使用专业的文本工具打开分析日志。服务器数量较多时，使用 ELK 收集日志、存储日志、展示日志。对于在K8S平台运行的容器日志，可以使用 Loki+Granfana 收集日志、存储日志、展示日志。
elk日志监控平台搭建以及springboot项目日志转发到elk
05-15
### 搭建ELK日志监控平台 #### 1. ELK简介 ELK 是 Elastic Stack 的缩写，由 Elasticsearch、Logstash 和 Kibana 组成。Elasticsearch 负责存储和检索数据；Logstash 提供强大的日志处理能力；Kibana 则提供可视化界面[^1]。 --- #### 2. 安装与部署 ##### 2.1 Elasticsearch安装部署 下载并解压 Elasticsearch 压缩包后，在 `config/elasticsearch.yml` 中设置集群名称和节点名称： ```yaml cluster.name: my-application node.name: node-1 network.host: 0.0.0.0 http.port: 9200 ``` 启动服务命令为： ```bash bin/elasticsearch ``` 验证是否成功运行可以通过访问 `http://localhost:9200/` 来确认返回 JSON 数据[^1]。 --- ##### 2.2 Logstash安装部署 下载并解压 Logstash 后，编辑配置文件 `logstash.conf`，定义输入源（如文件路径）、过滤器（解析日志格式）和输出目标（如 Elasticsearch）。例如： ```conf input { file { path => "/var/log/springboot.log" start_position => "beginning" } } filter { grok { match => { "message" => "%{TIMESTAMP_ISO8601} \[%{LOGLEVEL:level}\] %{GREEDYDATA:message}" } } } output { elasticsearch { hosts => ["http://localhost:9200"] index => "springboot-%{+YYYY.MM.dd}" } } ``` 启动 Logstash 使用以下命令： ```bash bin/logstash -f /path/to/logstash.conf ``` --- ##### 2.3 Kibana安装部署 同样下载并解压 Kibana 文件夹，修改 `config/kibana.yml` 设置连接地址： ```yaml server.host: "0.0.0.0" elasticsearch.hosts: ["http://localhost:9200"] ``` 启动 Kibana： ```bash bin/kibana ``` 访问 `http://localhost:5601` 即可进入管理页面[^1]。 --- ### 将SpringBoot项目日志转发至ELK #### 3. 创建SpringBoot应用 ##### 3.1 导入依赖 在 `pom.xml` 添加 SLF4J 和 Lombok 支持的日志库： ```xml <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-log4j2</artifactId> </dependency> ``` ##### 3.2 配置日志文件 创建 `src/main/resources/logback-spring.xml` 文件，指定日志输出位置： ```xml <configuration> <appender name="FILE" class="ch.qos.logback.core.FileAppender"> <file>/var/log/springboot.log</file> <encoder> <pattern>%d{yyyy-MM-dd HH:mm:ss} [%thread] %-5level %logger{36} - %msg%n</pattern> </encoder> </appender> <root level="INFO"> <appender-ref ref="FILE"/> </root> </configuration> ``` --- #### 4. 测试日志发送功能 编写单元测试类来模拟不同级别的日志记录操作： ```java import org.junit.jupiter.api.Test; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import org.springframework.boot.test.context.SpringBootTest; @SpringBootTest public class ElkApplicationTests { private static final Logger logger = LoggerFactory.getLogger(ElkApplicationTests.class); @Test public void testLoggingLevels() { logger.trace("This is a TRACE message"); logger.debug("This is a DEBUG message"); logger.info("This is an INFO message"); logger.warn("This is a WARN message"); logger.error("This is an ERROR message"); } } ``` 执行此方法会生成 `/var/log/springboot.log` 文件中的日志条目[^3]。 --- #### 5. 查看效果 完成上述步骤之后，重启整个环境链路（依次启动 Elasticsearch -> Logstash -> Kibana），最后打开 Kibana 页面新增索引模式匹配 `springboot-*` ，即可实时浏览来自 Spring Boot 应用程序产生的各类事件信息[^2]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值