logstash6.x安装手册

### Logstash 6.x 安装与配置指南 #### 一、Logstash 概述 Logstash 是 Elastic Stack（常称为 ELK Stack）中的一个重要组件，主要用于收集、解析和丰富来自不同来源的日志数据，并将其转发到 Elasticsearch 或其他存储系统中进行后续处理或分析。Logstash 支持通过多种插件接收数据，例如文件、数据库、网络等，并能对数据进行灵活的过滤和转换。 #### 二、Logstash 6.x 安装步骤 ##### 1. 下载 Logstash 首先需要从官方下载页面获取 Logstash 的安装包。具体命令如下： ```bash wget https://artifacts.elastic.co/downloads/logstash/logstash-6.3.0.tar.gz ``` 此命令会将 Logstash 的压缩包下载到当前目录下。 ##### 2. 解压 Logstash 压缩包 下载完成后，使用 tar 命令解压 Logstash 的压缩包。 ```bash tar -xvf logstash-6.3.0.tar.gz ``` 解压后会在当前目录下生成一个名为 `logstash-6.3.0` 的目录，其中包含了 Logstash 的可执行文件和其他资源文件。 ##### 3. 安装必要的插件 为了实现特定的功能，如从 UDP 端口接收数据并按照时间分隔存储到不同的日志文件中，我们需要安装相关的输入和输出插件。安装插件的步骤如下： - 第一步：查看 Gemfile 文件来确认所需的插件是否已存在于默认配置中。 ```bash cat /root/liuhaiyun/logstash-6.3.0/Gemfile ``` 如果需要的插件不在默认配置中，可以跳过这一步，直接安装所需的插件。 - 第二步：使用 `logstash-plugin install` 命令安装所需插件，例如 `logstash-input-udp` 和 `logstash-output-file` 等插件。 ```bash bin/logstash-plugin install logstash-input-udp bin/logstash-plugin install logstash-output-file ``` 注意：此处示例中的 `logstash-output-webhdfs` 插件是用于输出数据到 Hadoop HDFS 中的插件，如果目标存储不是 HDFS，则需安装相应的输出插件。 - 第三步：创建配置文件 `udp.conf`，配置文件定义了 Logstash 如何接收数据以及如何处理这些数据。下面是一个简单的配置示例： ```conf input { udp { port => 5044 codec => plain { charset => "UTF-8" } } } filter { # 可以在这里添加过滤器，例如： # grok { # match => { "message" => "%{COMBINEDAPACHELOG}" } # } } output { file { path => "/var/log/logstash/udp-%{+YYYY.MM.dd}.log" codec => plain { charset => "UTF-8" } } } ``` 这个配置示例定义了一个 UDP 输入插件，监听端口 5044 并将接收到的数据存储到 `/var/log/logstash/` 目录下的日志文件中，文件名按照日期分隔。 ##### 4. 启动 Logstash 配置完成后，使用以下命令启动 Logstash： ```bash nohup ./bin/logstash -f config/udp.conf & ``` 该命令表示在后台运行 Logstash，并指定配置文件为 `udp.conf`。`nohup` 命令用于确保 Logstash 在用户退出终端后仍然继续运行。 #### 三、总结 通过以上步骤，我们可以成功安装并配置 Logstash 6.3.0 版本，使其能够从 UDP 端口接收数据，并按照小时分隔存储到不同的日志文件中。这对于监控和分析实时日志数据非常有用。此外，Logstash 还支持许多其他的输入和输出插件，可以根据实际需求选择安装和配置，以满足不同的日志管理需求。