使用ElasticStack和Beats管理日志及系统管理挑战

### 使用Elastic Stack和Beats管理日志及系统管理挑战 #### 1. 配置Kibana Kibana是Elastic Stack的最后一部分，其配置通过`/etc/kibana/kibana.yml`文件完成，与Elasticsearch和Logstash的配置方式类似。 - **端口设置**：默认情况下，Kibana监听5601端口，由`server.port`参数控制，若需使用其他端口可进行修改，这里使用默认设置。 - **监听地址**：`server.host`设置控制Kibana监听请求的地址。由于需要从外部源访问，可设置为`server.host: "0.0.0.0"` 。 - **服务器名称**：`server.name`参数默认为Kibana运行的主机名，由于Logstash与Kibana一起运行，可将其改为`server.name: "kibana"` 。 - **Elasticsearch连接地址**：`elasticsearch.url`指定Kibana连接的Elasticsearch节点，这里使用一个Elasticsearch协调节点作为负载均衡器，设置为`elasticsearch.url: "http://localhost:9200"` 。 #### 2. 配置协调节点 协调节点是一个不接受输入、不存储数据且不参与主从选举的Elasticsearch节点，其目的是为Kibana在集群中的不同Elasticsearch节点之间进行请求负载均衡。 安装时需确保Java（open JDK）已安装，配置文件`/etc/elasticsearch/elasticsearch.yml`的设置如下： ```yaml cluster.name: elastic-cluster node.name: coordinate network.host: 0.0.0.0 node.master: false node.data: false node.ingest: false cluster.remote.connect: false discovery.zen.ping.unicast.hosts: ["elastic1", "elastic2"] ``` #### 3. 启动Logstash、Kibana和协调节点 所有组件配置完成后，可按以下步骤启动： 1. 启动Logstash： ```bash sudo systemctl start logstash && sudo systemctl enable logstash ``` 2. 启动并启用Elasticsearch协调节点： ```bash sudo systemctl start elasticsearch && sudo systemctl enable elasticsearch ``` 3. 启动并启用Kibana： ```bash sudo systemctl start kibana && sudo systemctl enable kibana ``` 启动后，可通过浏览器访问`http://kibana:5601`，点击“Monitoring”，再点击“Enable monitoring”，若所有组件在线则表示启动成功。 #### 4. 了解Beats Beats是Elastic.co提供的轻量级数据传输工具，易于配置和运行，作为客户端部分，安装在需要监控的系统上，可捕获指标、日志等数据并发送到Logstash进行进一步处理或Elasticsearch进行索引和分析。主要使用的Beats类型有： - **Filebeat**：用于从syslog、Apache、Nginx等源收集日志，并将其发送到Elasticsearch或Logstash。 - **Metricbeat**：收集CPU使用率、内存使用率、磁盘I/O统计信息和网络统计信息等指标，并发送到Elasticsearch或Logstash。 此外，还有Packetbeat（用于网络流量监控）、Journalbeat（用于systemd日志）、Auditbeat（用于审计数据如登录）等，并且Beats可通过模块进行定制。 #### 5. 安装Beats 可通过之前用于安装Elasticsearch、Logstash和Kibana的Elastic仓库来安装Beats： - 安装Filebeat： ```bash sudo yum install -y filebeat ``` 安装完成后，可通过以下命令确认： ```bash ```