ElasticSearch接收rabbitmq消息队列的消息

最新推荐文章于 2024-06-27 14:44:46 发布

想成为一名RRapper

最新推荐文章于 2024-06-27 14:44:46 发布

阅读量713

点赞数

CC 4.0 BY-SA版权

文章标签： rabbitmq 队列 java elk

本文链接：https://blog.csdn.net/theRengar/article/details/118999433

本文介绍了如何通过RabbitMQ消息队列实现ELK（Elasticsearch, Logstash, Kibana）架构的日志处理。在Logstash Agent收集数据后，借助RabbitMQ存储并转发给Logstash，经过过滤和分析，数据最终存储到Elasticsearch，并由Kibana展示。配置包括logstash.conf、项目中的logback-spring.xml，以及各个组件的启动。测试成功后，日志会从RabbitMQ传递至Elasticsearch。" 24508861,429017,使用ASM进行API Hook实战,"['汇编语言', 'API Hook', '系统编程']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

大家先看一下ELK通过rabbitmq消息队列保存日志的结构图：
在这里插入图片描述
此种架构引入了消息队列机制，位于各个节点上的Logstash Agent先将数据/日志传递给RabbitMQ（或者Redis），并将队列中消息或数据间接传递给Logstash，Logstash过滤、分析后将数据传递给Elasticsearch存储。最后由Kibana将日志和数据呈现给用户。因为引入了RabbitMQ（或者Redis）,所以即使远端Logstash server因故障停止运行，数据将会先被存储下来，从而避免数据丢失。

那我们来看一下如何配置：
logstash的配置文件logstash.conf（自定义名称）

input{
    rabbitmq {
        host => "192.168.20.42"    #RabbitMQ-IP地址
        vhost => "/"      #虚拟主机
        port => 5672             #端口号
        user => "test"            #用户名
        password => "test"        #密码
        queue => "LogQueue"      #队列
        durable => false         #持久化跟队列配置一致
        codec => "plain"         #格式
    }
	tcp {
		host => "localhost"
		mode => "server"
		port => 9900
    }

	file{
      path => ["E:/logs/logsFile.log"]  # 想要收集的日志信息文件-注意全路径
      type=>"elasticsearch"

最低0.47元/天解锁文章

200万优质内容无限畅学