使用ES解析日志字段

最新推荐文章于 2025-06-11 15:34:53 发布
原创 最新推荐文章于 2025-06-11 15:34:53 发布 · 3.6k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了如何使用Elasticsearch（ES）、Kibana和Filebeat搭建日志分析系统。首先，文章提及了ES的Java依赖、Kibana的可视化作用以及Filebeat的数据收集功能。接着，提供了7.7.0版本的软件下载链接，并介绍了安装过程。重点讲解了Elasticsearch的配置文件，包括cluster.name、node.master、network.host等关键配置。此外，还讨论了Kibana的配置，如elasticsearch.hosts和server.port。Filebeat配置文件的介绍包括监控日志路径和设置Kibana、Elasticsearch的主机端口。文章最后详述了ingest node的概念、pipeline的定义、常用的processors类型及其应用场景，并给出了使用ingest node解析日志字段的案例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.es的背景
（1）Elasticsearch基于Java语言开发，所以在安装Elasticsearch之前必须先安装JDK，Elasticsearch7要求安装JDK1.8以上版本；
（2）kibnan在ELK家族中主要起到数据可视化的作用，通过表，图，统计等不同的方式将数据以更加直观的方式显示，同时kibana必须运行于Elasticsearch的基础上，即kibana就是Elasticsearch的可视化GUI；
（3）Filebeat是beat组件的一种类型，filebeat一般安装在宿主机，用于收集文本类型的日志文件，然后把日志文件内容存储在es中
2.版本说明：
7.7.0(三个组件必须使用同一个版本)
3.软件下载源:
（1）Elaticsearch下载url:
https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.7.0-linux-x86_64.tar.gz
（2）kibana下载url:
https://artifacts.elastic.co/downloads/kibana/kibana-7.7.0-linux-x86_64.tar.gz
（3）filebeat下载url:
https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.7.0-linux-x86_64.tar.gz
4.安装：
安装方法简单，解压即可用
5.Elasticsearch的配置文件说明
（1）配置文件名称：elasticsearch.yml
（2）配置文件字段说明：
（3）cluster.name：Elasticsearch集群的名称，用于服务的发现，其他节点加入集群是要通过集群的名称加入相应的集群
（4）node.name：当前机器在集群中的节点名称
（5）node.master: true是否成为master节点node.data:指定该节点是否存储索引数据，为true时允许
（6）network.host: 指定能访问该服务的IP地址，默认是环回地址，配置为0.0.0.0允许所有网络的访问
（7）http.port: 服务的打开的端口，默认是9200
（8）node ingest：是否开启节点处理，默认打开，关闭可配置为false
6.kibana的配置文件说明
（1）elasticsearch.hosts: 指定elasticsearch所在的机器的ip
（2）server.port: 指定服务的端口，默认是5601
（3）server.host: 指定能访问服务的IP来源，0.0.0.0允许所有
7.filebeat配置文件说明
（1）配置文件名称：filebeat.yml
（2）- type: log #指定类型为log
enabled: true
（3）paths:

  • /app/applogs/info.log #指定监控要监控的日志文件的路径
    （4）setup.kibana:
    host: “10.206.196.84:5601” #指定kibana所在主机的ip和服务监听的端口
    （5）output.elasticsearch:
    hosts: [“10.206.196.84:9200”] #指定es所在主机的ip以及服务监听的端口
    （6）output.elasticsearch：
    index：配置自定义索引
    (7)multiline.pattern,multiline.negate,multiline.match与开启日志多行合并相关
    8.启动：
    （1）es不能使用root启动
    （2）elasticsearch启动：直接执行安装目录下bin目录下的启动脚本elasticsearch
    （3）kibana启动：直接执行安装目录下bin目录下的启动脚本kibana
    （4）filebeat启动：执行安装目录下bin目录下的启动脚本filebeat并使用-c参数指定filebeat的配置文件filebeat.yml
    （5）查看es的健康状态：
    curl http://ip:port/_cat/health
    （6）查看es上的所有索引：
    curl http:/ip:port/_cat/indices
    (7)es启动常见错:max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
    解决方法：使用root用户需改内核参数，在/etc/sysctl.conf中添加vm.max_map_count=262144，保存后执行sysctl -p使配置立即生效
    9.ingest node
    (1)ingest node概念：
    Ingest Node(预处理节点)是 ES 用于功能上命名的一种节点类型， 可以使用ingest node(预处理节点)在文档被索引执行发生之前对文档进行预处理(pre-process)，这些预处理行为发生在预处理节点对批量(bulk)请求和索引(index)请求的拦截的时候,对请进行数据进行转换,然后将转换后的请求数据再传递返回给对应的批量(bulk)请求和索引(index)请求，默认情款下所有节点开启ingest node预处理，如果想禁用可以在elasticsearch的配置文件中配置
    node.ingest: false
    (2)pipeline的简单定义
    在这里插入图片描述

    上面的例子，![在这里插入图片描述](https://img-blog.csdnimg.cn/20200807095938206.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTIxNzQ0Nw==,size_16,color_FFFFFF,t_7
    表明通过指定的 URL 请求"_ingest/pipeline"定义了一个 ID 为"my-pipeline-id"的 pipeline，其中请求体中的存在两个必须要的元素：
    <1>description 描述该 pipeline 是做什么的
    <2>processors 定义了一系列的 processors，这里只是简单的定义了一个赋值操作，即将字段名为"foo"的字段值都设置为"bar"
    <3>set为一个处理器，处理器的相关内容请看文档下文处理器部分
    (3)Simulate Pipeline API(pipeline debuger)
    为了让开发者更好的了解和使用预处理的方式和原理，官方也提供了相关的接口，来让我们对这些预处理操作进行测试，这些接口，官方称之为： Simulate Pipeline API
    简单使用例子如下：
    在这里插入图片描述
    使用simulate pipeline api时使用的方法为POST，pipeline的id固定为_simulate,pipeline字段下的内容为自定义定义的pipeline，这里使用了set处理器，docs字段下的_source字段指定预处理的文档内容包括字段和值，例子中数据字段foo的值为bar，该例子使用由于foo字段原来不存在，所以set处理器给文档内容添加字段foo，并设置foo的值为bar
    执行结果如下：

在这里插入图片描述

(4)pipeline中常用processors类型的说明与举例（以simulate pipeline api测试）
<1>set处理器
作用：指定字段存在时修改指定字段的值，指定字段不存在时添加指定的字段和值
举例：
在这里插入图片描述

执行结果如下：

在这里插入图片描述

<2>append处理器
追加处理器。就是当我们加载原始文档到 Elasticsearch 的时候，某些字段的描述信息可能需要我们定制性的增加一些额外说明
例子如下：
在这里插入图片描述

执行结果：
在这里插入图片描述

<3> Convert处理器
用于在写入某些文档之前对该文档的字段类型进行转换，比如文档中有个字符串类型的"价格"字段，我们希望将其转换成 float 类型，则我们可以使用该处理器来完成这项操作，目前官方支持转换的类型有如下几个：integer, float, string, boolean, and auto，auto是根据类型最相似完成转换
例子如下：
在这里插入图片描述

执行结果：
在这里插入图片描述

<4>date处理器
是将原文档中的某个日期字段转换成一个 Elasticsearch 识别的时间戳字段(一般默认为@timestamp)，该时间戳字段将会新增到原文档中，也可以使用 target_field 字段来指定该字段名称,使用timezone指定原来的时间的时区，默认为世界协调时间，转换后默认是北京时间，所以要指定原来的时区，避免出现时差
例子如下：

在这里插入图片描述

执行结果：
在这里插入图片描述

<5>grok处理器
主要用于切割日志字段生成新字段，完成日志字段的提取解析
使用例程：
日志文件（路径为/app/applogs/info.log）格式如下：
[INFO] 2020-07-23 18:29:43 [/app/totoro/tcl/api/app/subnet/handle.py:fetch_sf_subnet:62]
需求：提取日志文件的日志等级和日志产生的时间戳以及该日子来自那个app(该日志来自的app是tcl
在这里插入图片描述

执行结果：
在这里插入图片描述

Grok处理器使用patterns匹配文档内容并记录在指定的字段，更多关于grok的使用可以参考文档 《grok匹配案例》
<6>gsub处理器
Gsub Processor 能够解决一些字符串中才特有的问题，按照正则表达式匹配字符串的内容并完成替换，例子如下，使用匹配SF express，使用shenzhen替换
在这里插入图片描述

执行结果：
在这里插入图片描述

<7>join处理器
能够将原本一个数组类型的字段值，分解成以指定分隔符分割的一个字符串
例子如下：
在这里插入图片描述

执行结果：

最低0.47元/天 解锁文章

200万优质内容无限畅学
ElasticSearch解析logback日志并处理异常栈轨迹
甘蓝的专栏
05-30 995
搭建EFK后就会发现，日志时间没有提取，异常栈轨迹没有合并为一条消息。详见本文，图文讲述解决办法。
Elasticsearch 解析：倒排索引机制/字段类型/语法/常见问题
J老熊
10-23 1378
Elasticsearch 是一个分布式的开源搜索引擎，广泛用于全文搜索、分析和数据存储。它基于 Apache Lucene 构建，支持 RESTful 风格的 API，使得开发者能够高效地存储和检索数据。本文将详细讲解 Elasticsearch 的基本原理，特别是其倒排索引机制，常见语法的使用，以及在实际应用中可能遇到的常见问题及解决方案。
ElasticSearch实战：日志分析与搜索技巧解析
silenceallat的博客
03-28 2832
本文深入探讨了ElasticSearch在日志分析和搜索案例方面的应用，分享了实用的技巧和案例，包括索引日志数据、创建索引模板、使用Kibana进行数据分析等。同时，还介绍了ElasticSearch的进阶技巧，如查询优化、数据建模和使用监控和诊断工具。文章最后讨论了ElasticSearch的未来发展前景，包括更强大的机器学习功能、更好的云原生支持、增强的安全性和合规性以及优化的性能和扩展性。
es 日志分析
1.01^365
04-24 9130
Es 日志分析 首先要有个kibana 再者要有电脑和手。然后在config里面配置好需要连接的es的ip地址。先启动bin/kibana.bat。如果没报错，且集群状态为黄色或者绿色即可。 再打开http://localhost:5601。如下图所示： 我们先点击左侧Management。点击这个是为了添加一类索引。我们的目的不就是想对一类索引进行分析么？ 这个添加一类索引，就是为...
Elasticsearch 启动失败？从日志分析到最终解决（磁盘空间不足案例）
最新发布
Leaton的博客
06-11 925
Spring Boot 项目启动后，ES 操作正常，不再报超时错误。ES 真正的日志在 logs/elasticsearch.log。，但 Java 应用就是连不上！：ES HTTP 接口正常，但 Java 客户端无法连接。，但 HTTP 接口可能仍然能访问（误导性现象）。，适用于类似 ES 启动失败、连接超时等场景。，而不是 Windows 服务日志（导致 ES 无法正常写入数据。看起来没问题，但为什么连不上？，导致 ES 无法写入数据！，不要只看服务控制日志。，不一定是网络问题。
Elastic日志分析
山兔的博客
08-28 3098
Elasticsearch 是在 Apache Lucene 上构建的分布式搜索和分析引擎。Elasticsearch常用于日志分析、全文搜索、安全智能、业务分析和运维智能使用案例。可以使用 JSON 文档形式或通过 API 等将数据发送到 Elasticsearch。Elasticsearch 自动存储原始文档，并在集群的索引中添加该文档的可搜索引用。然后，您就可以使用 Elasticsearch API 搜索和检索该文档。还可以利用可视化数据并构建交互式控制面板。
【Elasticsearch】——日志搜索引擎ES介绍及使用
汤庆
01-14 2735
一、前言 最近在做elasticsearch的工作，把搭建过程记录一下。 测试环境：ubuntu 16.04 二、安装ES 安装详解：官方文档 1、本地单节点安装 #1、获取安装包并解压 $ curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.5.1-lin...
Elasticsearch 日志分析与监控
Flying_Fish_roe的博客
12-14 2062
Elasticsearch 是进行日志分析和系统监控的强大工具，通过有效的日志数据采集、索引设计、查询分析和集群监控，用户可以实现对系统运行状态的全面了解，并快速定位问题。借助 Elastic Stack，用户不仅能实现高效的日志分析，还能通过实时监控和可视化展示，为运维人员提供可靠的决策支持。
Elasticsearch实战与原理解析 源代码.zip
06-06
这份"**Elasticsearch实战与原理解析 源代码**"的压缩包文件提供了关于这个强大工具的实践案例和源代码，旨在帮助用户深入理解和掌握Elasticsearch的核心功能和工作原理。 首先，我们要了解Elasticsearch的基本概念...
【Elasticsearch】运行时字段（Runtime Fields）索引时定义运行时字段
risc123456的博客
02-14 722
在 Elasticsearch 中，运行时字段（Runtime Fields）是一种在查询时动态计算的字段，而不是在索引时预先存储的字段。在这个例子中，`day_of_week`是一个运行时字段，它基于`@timestamp`字段的值动态计算一周中的某一天。• 运行时字段支持多种数据类型，包括`boolean`、`date`、`keyword`、`ip`等。• 运行时字段的值是在查询时通过 Painless 脚本动态生成的，而不是在索引时存储的。• 对于`date`类型的运行时字段，还可以指定格式参数。
ES(Elasticsearch)日志类型
m0_54849806的博客
03-25 2811
每个软件应用为了方便排查运行时出现的问题或者一些做一些数据记录，都会提供相应的日志记录，Elasticsearch也不例外，Elasticsearch日志记录通过3类日志类型进行记录： **（1）主要日志（cluster-name.log）😗*记录了Elasticsearch运行时所发生一切的综合信息，例如，某个查询失败或一个新的节点加入集群 **（2）慢搜索日志（cluster-name_index_search_slowlog.log）😗*当某个查询运行得很慢时，Elasticsearch会在这里进行记
python传感器日志光照统计_日志分析系列(三):分析实战篇
weixin_39683025的博客
12-03 2754
本系列故事纯属虚构，如有雷同实属巧合在之前的系列中，小B完成了日志分析平台的实现，也接入了各种日志源，做好了这些前期工作，接下来就是真正利用平台实现分析并体现日志价值的时候了。日志的价值体现在什么地方？在安全日志分析的大场景中，我们都是根据不同场景下的特征来进行分析，我们以主机安全场景特征判断为例：通过对这些场景的思路整理，我们可以发现识别攻击场景的方式大致包括：关键字匹配、统计分析、聚合分析、关...
Elastic Stack日志分析（一）- ELK简介
程序园@大Null
02-16 1420
目录1. Elastic Stack简介2. 组件介绍 1. Elastic Stack简介   ELK 是包含但不限于Elasticsearch（简称 es）、Logstash、Kibana三个开源软件的组成的一个整体。这三个软件合成 ELK，是用于数据抽取（Logstash）、搜索分析（Elasticsearch）、数据展现（Kibana）的一整套解决方案，所以也称作 ELK stack。   ELK 是一个免费开源的日志分析架构技术栈总称，官网：https://www.elastic.co/cn。EL
企业 Elasticsearch日志分析平台
Howei__的博客
06-12 1092
Elasticsearch介绍 安装配置 添加图形界面 ES分布式部署 Logstash数据采集 kibana数据可视化 xpack安全验证
你看懂 Elasticsearch Log 中的 GC 日志了吗？
weixin_34292287的博客
09-22 1918
如果你关注过 elasticsearch 的日志，可能会看到如下类似的内容： [2018-06-30T17:57:23,848][WARN ][o.e.m.j.JvmGcMonitorService] [qoo--eS] [gc][228384] overhead, spent [2.2s] collecting in the last...
es-logstash-kibana-filebeat-ELK日志分析
qq_39122260的博客
02-22 888
Elasticsearch介绍 Elasticsearch的功能 分布式搜索和分析引擎 全文检索，结构化检索，数据分析 对海量数据进行近实时的处理 Elasticsearcg的适用场景 全文检索，高亮，搜索推荐 新闻网站，用户日志+社交网络数据分析 GitHub(开源代码管理)，搜索上亿行代码 电商网站，检索商品 日志数据分析，logstash采集日志，ES进行复杂的数据分析 BI系统，ES执行数据分析和挖掘，Kibana进行数据可视化 BI 系统，商业智能，分析用户消费趋势和用户群体的组成构成。
Elastic：运用 Elastic Stack 分析 Spring Boot 微服务日志 (一）
Elastic 中国社区官方博客
05-26 3517
在我们的很多 Java 应用开发中，我们有通常很多的日志信息。这些日志信息对我们的开发非常有用。它可以帮我们对我们的应用的运行情况进行分析，特别是在应用运行出现错的时候。在传统的开发中，我们可能会使用一些编辑器来查看这些日志。这对于一个这样的应用是可行的，但是假设我们有多个正在运行的应用程序，并且所有这些应用程序都生成日志。 如果必须手动分析日志，则需要遍历所有日志文件。 这些可能会变成数百个。在今天的教程中，我们将介绍如何使用 Elastic Stack 来查询分析我们的日志。 我们..
ES (ElasticSearch) 简易解读（三）企业级日志分析ELK架构的搭建与使用
资深全栈开发工程师
07-01 1077
主要是用来日志的搜集、分析、过滤日志的工具 官网下载 http://www.elastic.co/cn/products/logstash与数据库的同步需要使用连接jar包 下载地址：https://mvnrepository.com/artifact/mysql/mysql-connector-java 选择与数据库版本一致的jar包上传到sync文件夹 修改jdbc.sql 参考 Logstash 安装与使用 （https://blog.csdn.net/HueyLong/article/de
elasticsearch日志分析
m0_62341392的博客
12-24 3856
elasticsearch和mysql的区别 一、安装配置 实验环境： 准备三台虚拟机，这三台虚拟机都要下载elasticsearch，7.6版本的就可以 本次实验从真机中传过来的 scp /home/westos/elasticsearch-7.6.1-x86_64.rpm server1: scp /home/westos/elasticsearch-7.6.1-x86_64.rpm server2: scp /home/westos/elasticsearch-76.1-x86_64.rp.
MongoDB优化日志存储：案例解析与字段提取
为了提升分析性能，我们可以预先解析日志，将每一行拆分为多个字段，形成结构化的文档，如下所示： ```json { "_id": ObjectId('4f442120eb03305789000000'), "host": "127.0.0.1", "logname": null, "username...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值