Centos部署LEK+redis+filebeat详细部署步骤

原创 已于 2023-09-27 12:12:28 修改 · 533 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#redis #elk #centos #linux

于 2023-09-27 10:13:05 首次发布
本文介绍了在多节点服务器上搭建Redis、ELK等服务的详细步骤。先阐述了ELK平台各组件及Redis的作用，接着进行前期准备，包括确定节点与IP、架构。随后分别在node - 1节点部署Redis、nginx、filebeat，在node - 2和node - 3节点搭建es群集，还在node - 3部署了相关插件、logstash和kibana。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

简介

前期准备

1.每台服务器的节点和对应的ip

2.每台服务器搭建的架构

一.node-1节点对应服务搭建

部署redis

1.使用yum安装redis

2.修改配置文件

3.启动服务

部署nginx

1.安装依赖包

2.下载nginx安装包

3.进行解包并编译安装

4.修改配置文件

5.启动服务

部署filebeat

1.使用wget下载filebeat安装包

2.安装完成后进行解包

3.修改配置文件

4.启动服务

 5.查看redis日志是否产生

二.node-2节点对应服务搭建

搭建es群集

 1.使用wget下载安装包并进行安装

2.设置自带用户登入的shell以及查看安装路径

3.修改es配置文件

4.启动服务

三.node-3节点对应服务搭建

搭建es群集

1.安装es

2.修改es配置文件

3.启动服务

4.部署elasticsearch-head-master插件

5.部署logstash

6.部署kibana

简介

ELK 是一个流行的开源日志管理和数据分析平台，它由三个主要组件组成：

  1. Elasticsearch：用于存储、搜索和分析数据的分布式搜索引擎。Elasticsearch 能够高效地处理大量结构化和非结构化数据，使用户能够快速搜索和检索数据。

  2. Logstash：用于数据收集、转换和传输的服务器端数据处理管道。Logstash 可以从各种来源（如日志文件、数据库、消息队列等）采集数据，然后对数据进行处理和格式化，最终将数据发送到 Elasticsearch 或其他目标存储。

  3. Kibana：用于数据可视化和分析的用户界面。Kibana 提供了强大的数据仪表板、图表和搜索功能，使用户能够直观地理解和分析存储在 Elasticsearch 中的数据。

  4. Filebeat:是一款轻量级的开源日志文件数据搜集器，通常在需要采集数据的客户端安装Filebeat，并指定目录与日志格式，Filebeat就能快速收集数据后发送给logstash进行解析，或发送给Elasticsearch存储

  5. Redis：Redis 可以作为 Logstash 和其他数据源之间的缓冲区，允许数据在 Logstash 收集和传输到 Elasticsearch 之间进行缓存。这有助于平滑处理突发的大量数据，并减轻 Elasticsearch 的负担。

前期准备

1.每台服务器的节点和对应的ip

hostnameip
node-1192.168.42.130
node-2192.168.42.131
node-3192.168.42.131

2.每台服务器搭建的架构

节点所搭建的服务
node-1redis+nginx+filebeat
node-2es群集
node-3es群集+logstash+kibana

一.node-1节点对应服务搭建

部署redis

1.使用yum安装redis
yum install epel-release -y 
yum install redis -y
2.修改配置文件
vim /etc/redis.conf
bind 0.0.0.0    //61行
daemonize yes   //128行
3.启动服务
systemctl start redis

部署nginx

1.安装依赖包
yum -y install  gcc gcc-c++ autoconf automake libtool make openssl openssl-devel pcre pcre-devel  wget
2.下载nginx安装包
wget  http://nginx.org/download/nginx-1.8.1.tar.gz  -P /usr/local/src/
3.进行解包并编译安装
cd /usr/local/src/
tar xzf nginx-1.8.1.tar.gz 

cd  /usr/local/src/nginx-1.8.1

./configure \
--prefix=/usr/local/nginx \
--with-http_ssl_module \
--with-http_flv_module \
--with-http_stub_status_module \
--with-http_gzip_static_module \
--with-pcre

make && make install
4.修改配置文件
cd /usr/local/src/nginx-1.8.1/conf
vim nginx.conf 

log_format   main  '{ "time_local": "$time_local", '
                             '"remote_addr": "$remote_addr", '
                             '"remote_user": "$remote_user", '
                             '"body_bytes_sent": "$body_bytes_sent", '
                             '"request_time": "$request_time", '
                             '"status": "$status", '
                             '"host": "$host", '
                             '"request": "$request", '
                             '"request_method": "$request_method", '
                             '"uri": "$uri", '
                             '"http_referrer": "$http_referer", '
                             '"http_x_forwarded_for": "$http_x_forwarded_for", '
                             '"http_user_agent": "$http_user_agent" '
                        '}';
access_log  /var/log/nginx/access.log  main;

然后创建配置文件中的日志目录,然后启动服务

mkdir -p /var/log/nginx
5.启动服务
/usr/local/nginx/sbin/nginx

部署filebeat

1.使用wget下载filebeat安装包
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.9.2-linux-x86_64.tar.gz -P /opt
2.安装完成后进行解包
tar -xzf /opt/filebeat-7.9.2-linux-x86_64.tar.gz -C /usr/local/
//更改原本的文件名称
mv /usr/local/filebeat-7.9.2-linux-x86_64 /usr/local/filebeat
3.修改配置文件
//备份配置文件
mv /usr/local/filebeat/filebeat.yml /usr/local/filebeat/filebeat.yml.bak
//重写配置文件
cat > /usr/local/filebeat/filebeat.yml << EOF
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/*.log
output.redis:
  hosts: [192.168.42.130:6379]
  key: "web_log"
EOF
4.启动服务
cd /usr/local/filebeat
./filebeat &

 5.查看redis日志是否产生
[root@localhost /]# redis-cli
127.0.0.1:6379> keys *
1) "web_log"

二.node-2节点对应服务搭建

搭建es群集

 1.使用wget下载安装包并进行安装
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.12.0-x86_64.rpm -P /opt
rpm -i /opt/elasticsearch-7.12.0-x86_64.rpm

2.设置自带用户登入的shell以及查看安装路径
chsh -s /bin/bash elasticsearch
rpm -ql elasticsearch
3.修改es配置文件
//先进行备份
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak

要在最后再添加2条配置文件

cat >> /etc/elasticsearch/elasticsearch.yml << EOF
http.cors.enabled: true
http.cors.allow-origin: "*"
EOF
4.启动服务
systemctl start elasticsearch
curl http://localhost:9200

三.node-3节点对应服务搭建

搭建es群集

1.安装es

安装步骤和刚刚的一样不同的在配置文件

2.修改es配置文件
//先进行备份配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak

要在最后再添加2条配置文件

cat >> /etc/elasticsearch/elasticsearch.yml << EOF
http.cors.enabled: true
http.cors.allow-origin: "*"
EOF
3.启动服务
systemctl start elasticsearch
curl http://localhost:9200

4.部署elasticsearch-head-master插件

安装依赖关系

# 安装依赖 #
curl -sL https://rpm.nodesource.com/setup_14.x | sudo bash -
yum install -y nodejs
# 查看安装版本
npm -v

使用wget下载所需安装包并且进行解包

wget https://codeload.github.com/mobz/elasticsearch-head/zip/master -O /opt/elasticsearch-head-master.zip 
unzip /opt/elasticsearch-head-master.zip
//优化路径
mkdir -p /usr/local/head-master
mv /elasticsearch-head-master/* /usr/local/head-master
//进入文件目录进行安装
cd /usr/local/head-master/_site
npm install
//启动服务
cd /usr/local/head-master/
nohup npm run start &

通过 http://192.168.42.132:9100/ 进行查看集群状态

5.部署logstash

使用wget下载所需安装包并进行安装

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.6.0.tar.gz -P /opt
tar zvxf /opt/logstash-7.6.0.tar.gz -C /usr/local

优化路径并修改配置文件

mv /usr/local/logstash-7.6.0 /usr/local/logstash
mkdir /usr/local/logstash/conf.d/
cat >> /usr/local/logstash/conf.d/redis_to_elk.conf  << EOF
input {
  redis {
    host => "192.168.42.130"
    port => "6379"
    data_type => "list"
    type => "log"
    key => "web_log"
  }
}

output {
  elasticsearch {
        hosts => ["192.168.42.132"]
	index => "beats_log-%{+YYYY.MM.dd}"
    }
}
EOF

启动服务

cd /usr/local/logstash/bin/
./logstash -f /usr/local/logstash/conf.d/redis_to_elk.conf &
6.部署kibana

使用wget下载安装包并且进行解压

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.12.0-x86_64.rpm -P /opt
rpm -i /opt/kibana-7.12.0-x86_64.rpm

修改配置文件

cp /etc/kibana/kibana.yml /etc/kibana/kibana.yml.bak
//备份配置文件
sed -i '2s/^#//' /etc/kibana/kibana.yml
sed -i '7s/.*/server.host: "0.0.0.0"/' /etc/kibana/kibana.yml
sed -i '111s/.*/i18n.locale: "zh-CN"/' /etc/kibana/kibana.yml

启动服务

systemctl start kibana
curl http://localhost:5601

游览器中输入 http://192.168.42.132:5601/ 进行索引创建

XieJiae
关注
在CentOS 7上安装Filebeat大数据
2301_79366435的博客
09-02 570
确保选择正确的索引模式，并检查是否有来自Filebeat的日志数据。Filebeat是一个轻量级的开源日志数据收集器，用于将日志和文件数据从服务器发送到中央日志存储或分析系统。至此，您已成功在CentOS 7上安装和配置Filebeat，并将日志数据发送到Elasticsearch进行大数据分析。完成配置后，我们可以启动Filebeat并将其设置为在系统启动时自动启动。接下来，我们需要配置Filebeat以指定要收集和发送的日志文件。如果一切顺利，您将看到Filebeat开始读取和发送指定的日志文件。
2、filebeat安装配置
最新发布
xuebo1129927648的博客
06-01 106
如果你需要收集其他类型的日志，可以按照下面的格式添加输入配置。
centos安装filebeat7.1.1
zhangkanglei的博客
02-04 609
【代码】centos安装filebeat7.1.1。
centos安装filebeat
OfficerGoodbody的博客
08-11 419
centos安装filebeat
【centos 7】 安装filebeat
piano_diano的博客
06-15 1566
filebeat 是Elastic技术栈中的文件收集器，用于将日志文件的内容发送到es或者是logstash中 1、从官网中下载安装包 注意：要与ES的版本一致 2、将安装包上传到服务器中，然后解压 3、解压完毕后，进入到目录中，修改filebeat.yml文件 filebeat.inputs: # Each - is an input. Most options can be set at the input level, so # you can use different inputs fo.
Filebeat 部署（CentOS、Windows）
菜鸟厚非
05-21 1664
进入 /lib/systemd/system 目录，创建启动文件 filebeat.service。 cd /lib/systemd/system vim filebeat.service 编辑文件内容 [Unit] Description=filebeat Wants=network-online.target After=network-online.target [Service] User=root ExecStart=/srv/filebeat-7.11..
基于CentOS 7 web服务环境搭建（包含JDK+Nginx+Tomcat+Mysql+Redis）-附件资源
03-05
基于CentOS 7 web服务环境搭建（包含JDK+Nginx+Tomcat+Mysql+Redis）-附件资源
CentOs7.3部署nginx+tomcat+redis集群说明.docx
01-10
CentOs7.3部署nginx+tomcat+redis集群说明.docx
【环境搭建】CentOS7+Docker+Redis
qq_40771649的博客
02-28 1229
CentOS7+Docker+Redis安装
centos7.5使用docker配置apache+sanic+redis+mysql
03-11
centos7.5使用docker配置apache+sanic+redis+mysql
EFK部署centos7.9（四）Filebeat 部署
W1124824402的博客
11-18 1231
nohup ./filebeat -e -c filebeat.yml > filebeat.log & 运行filebeat。- /var/log/*.log 修改为需要读取的日志路径。mv filebeat.yml filebeat.yml.bak 重新写一个配置文件。hosts: ["192.168.11.139:9200"] 配置es的地址。host: "192.168.11.140:5601" 配置kebana的地址。
Centos7 docker-compose安装ELK+Filebeat.zip
10-16
Centos7 docker-compose安装ELK+Filebeat.zip 存放这里，让大家下载快捷一点
从零学ELK系列（七）:Centos安装Filebeat（超详细图文教程）
通往精英的成长之路
12-29 4309
【前言】 为了更加真实的模拟生产部署环境，在上次的Docker环境中（《Docker安装Logstash（超详细图文教程）》）中安装了Logstash，本次我们将安装日志收集组件---Filebeat把步骤记录下来，一是方便自己以后安装，二是可以为大家做参考共享。 【一句总结一张架构图】 一、一句话总结学完本篇博文，你将学到什么？ ...
CentOS7和8下安装Filebeat
邓邓子的博客
03-10 923
https://www.elastic.co/cn/downloads/beats/filebeat
CentOS7下安装filebeat-7.3
zhengzaifeidelushang的博客
10-10 889
下载filebeat-7.3.2-linux-x86_64.tar.gz tar -zxvf filebeat-7.3.2-linux-x86_64.tar.gz mv filebeat-7.3.2-linux-x86_64 filebeat #filebeat配置文件 filebeat.inputs: - type: log enable: true paths: # 采...
centos7 yum安装ELK8.X+filebeat
wxxya的博客
01-07 1518
linux centos7.9中elasticsearch-8.5.3、kibana-8.5.3、logstash-8.5.3、filebeat-8.5.3，详细的介绍了ELK8全家桶安装细节，有问题的请评论区留言。
centos7中filebeat-安装-收集日志
aaliliaa的博客
10-20 327
es安装参考：http://www.duozhi.online/2023/10/20/centos7%e4%b8%ades%e5%ae%89%e8%a3%85/kibana安装参考：http://www.duozhi.online/2023/10/20/centos7%e4%b8%ad%e5%ae%89%e8%a3%85kibana/k8s集群的两个节点。
ELK+FileBeat 在：Centos7 环境下的安装与部署
qq_57629110的博客
07-20 690
进入logstash-7.14.0/config目录下编辑logstash-sample.conf文件，当然也可以新建一个配置文件，这里以logstash-sample.conf为例。这里的outputs设置，采用输出到logstash后再输入es的方式，因此将es output的配置注释，将logstash的配置打开并配置logstash的hosts。在input->beats->port默认是5044，后面部署的filebeat的日志都会发送到这里，所以filebeat里面的配置要和这里的保持一致。
ELK +filebeat +redis 安装
weixin_34290352的博客
04-19 153
一、安装elasticsearch elasticsearch-6.1.2安装 解压 进入目录 配置文件 elasticsearch.yml 修改 ip 和端口 创建运行用户 elk 授权 chown -R elk:elk /data1/elasticsearch-6.1.2 elk 用户启动 ： cd /data1/elasticsearch-6....
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值