ELK日志分析系统搭建

### ELK日志分析系统搭建详解 #### 一、ELK简介 ELK栈是由Elasticsearch、Logstash和Kibana三个组件组成的开源日志分析解决方案。它们各自承担着不同的角色，在一起协同工作，形成了高效的数据处理流程。 1. **Elasticsearch**：作为核心的搜索引擎与存储引擎，它提供了高度可扩展且实时的数据检索能力。Elasticsearch的特点包括但不限于分布式架构、零配置部署、自动发现节点、自动分片和复制机制、RESTful API接口以及支持多种数据源。 2. **Logstash**：这是一个强大的服务器端数据处理管道，能够接收来自不同来源的日志数据，然后通过一系列预设的过滤器进行转换和清洗，最终将数据发送到Elasticsearch中进行存储。 3. **Kibana**：提供了一个直观的Web界面，用于数据可视化、查询及仪表板展示。它可以直接从Elasticsearch中获取数据并进行图形化展示，使得用户能够轻松地分析和理解复杂的数据集。 #### 二、系统环境配置 本教程基于以下环境进行ELK栈的安装与配置： - 操作系统：CentOS 7 - JDK版本：1.8 - ELK版本：5.3.1 #### 三、Elasticsearch安装配置 1. **下载安装包** 访问官方下载页面下载对应版本的Elasticsearch压缩包：[https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.3.1.tar.gz](https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.3.1.tar.gz) 2. **解压安装** 将下载好的`elasticsearch-5.3.1.tar.gz`文件解压至`/usr/local/`目录下。 ```bash tar -zxvf /usr/local/src/elasticsearch-5.3.1.tar.gz -C /usr/local/ ``` 3. **配置文件修改** 修改`/usr/local/elasticsearch-5.3.1/config/elasticsearch.yml`配置文件。示例配置如下： ```yaml cluster.name: skynet_es_cluster node.name: skynet_es_cluster_dev path.data: /data/elk/data path.logs: /data/elk/logs network.host: 0.0.0.0 http.port: 9200 discovery.zen.ping.unicast.hosts: ["172.18.5.111", "172.18.5.112"] http.cors.enabled: true http.cors.allow-origin: "*" bootstrap.memory_lock: false bootstrap.system_call_filter: false ``` 4. **系统参数调整** - **内核参数调整**：编辑`/etc/sysctl.conf`文件，添加以下内容： ```conf vm.max_map_count=655360 ``` 保存后执行`sysctl -p`使配置生效。 - **资源限制调整**：编辑`/etc/security/limits.conf`文件，添加以下内容： ```conf * soft nofile 65536 * hard nofile 131072 * soft nproc 65536 * hard nproc 131072 ``` 编辑`/etc/security/limits.d/20-nproc.conf`文件，添加以下内容： ```conf elk soft nproc 65536 ``` 5. **创建启动用户** 使用非root用户启动Elasticsearch。首先创建用户和组，并设置相关目录的所有权： ```bash useradd elk groupadd elk usermod -g elk elk mkdir -pv /data/elk/{data,logs} chown -R elk:elk /data/elk/ chown -R elk:elk /usr/local/elasticsearch-5.3.1/ ``` 6. **启动Elasticsearch** 切换到`elk`用户并启动Elasticsearch服务： ```bash su elk /usr/local/elasticsearch-5.3.1/bin/elasticsearch ``` 7. **安装Head插件** Head插件是一个轻量级的管理工具，用于监控Elasticsearch集群的状态。安装Head插件的方法如下： 确保Node.js已安装。如果没有，请先安装Node.js。接着，使用npm安装Head插件： ```bash npm install -g elasticsearch-head ``` 安装完成后，可以通过浏览器访问`http://localhost:9100/`来查看Elasticsearch的状态。 #### 四、Logstash安装配置 1. **下载安装** 下载Logstash安装包，并解压到指定位置。 2. **配置文件** 编写Logstash配置文件，定义输入源、过滤器和输出目的地。 3. **启动Logstash** 使用非root用户启动Logstash服务。 #### 五、Kibana安装配置 1. **下载安装** 下载Kibana安装包，并解压到指定位置。 2. **配置文件** 修改`/usr/local/kibana-5.3.1/config/kibana.yml`配置文件。 3. **启动Kibana** 使用非root用户启动Kibana服务。 4. **访问Kibana** 通过浏览器访问`http://localhost:5601`来查看和操作Kibana界面。 通过以上步骤，我们完成了ELK日志分析系统的搭建。这将为日志数据的收集、存储、分析和展示提供一个强大而灵活的平台。在实际应用中，可以根据具体需求调整配置文件中的各项参数，以达到最佳性能表现。