Apache APISIX 集成 Kafka 实现高效率实时日志监控

本文链接：https://blog.csdn.net/ApacheAPISIX/article/details/123096080

本文详细介绍了如何在 Apache APISIX 中集成 Kafka 实现高效率实时日志监控。通过启动 Kafka 集群，创建 Topic，配置并启用 kafka-logger 插件，发送请求并自定义日志结构，实现 API 请求日志的实时推送。Apache APISIX 的 kafka-logger 插件支持批处理和自动重试，提供灵活的日志格式配置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Apache Kafka 是由 Apache 管理的开源流处理平台，由 Scala 和 Java 编写，为处理实时数据提供了统一、高吞吐、低延迟的功能特性。

其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”，这使它作为企业级基础设施来处理流式数据非常有价值。目前已被数千家公司用于高性能数据管道、流分析、数据集成和任务关键型应用程序等领域。

实现方式：kafka-logger

Apache APISIX 早在 1.2 版本开始就已经提供了 kafka-logger 插件的支持，其后又经过多次功能强化，目前已具备非常成熟且完善的功能。支持将 API 请求日志，甚至请求体和响应体以 JSON 格式推送至 Kafka 集群中。

使用 kafka-logger 时，用户可以发送多种数据并自定义发送的日志格式，同时还支持以批处理的方式打包发送日志或进行自动重试等功能。

如何使用

步骤一：启动 Kafka 集群

本文示例只演示了一种启动方式，其他启动方式细节可参考官方文档。

# 使用 docker-compose 启动一个具有 1个 zookeeper 节点、3个 kafka 节点的集群
# 同时还启动一个 EFAK 用于数据监控。
version: '3'

services:
  zookeeper:
    image: confluentinc/cp-zookeeper:6.2.1
    hostname: zookeeper
    ports:
      - "2181:2181"
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_SERVER_ID: 1
      ZOOKEEPER_SERVERS: zookeeper:2888:3888

  kafka1:
    image: confluentinc/cp-kafka:6.2.1
    hostname: kafka1
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_LISTENERS: LISTENER_DOCKER_INTERNAL://kafka1:19092,LISTENER_DOCKER_EXTERNAL://${DOCKER_HOST_IP:-127.0.0.1}:9092
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: LISTENER_DOCKER_INTERNAL:PLAINTEXT,LISTENER_DOCKER_EXTERNAL:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: LISTENER_DOCKER_INTERNAL
      KAFKA_ZOOKEEPER_CONNECT: "zookeeper:2181"
      KAFKA_BROKER_ID: 1
      KAFKA