使用谷歌Dataflow实现Pub/Sub到Elastic的无代理数据导入

无代理数据导入方案

通过谷歌Dataflow模板，用户可直接从谷歌Pub/Sub将数据流式传输到Elastic Stack，无需安装任何数据收集器。该方案基于Apache Beam构建的服务器异步消息服务，特别适用于处理谷歌云审计日志、VPC流日志和防火墙日志。

技术实现架构

1. 数据流路径：谷歌云服务→谷歌Operations→Pub/Sub→Dataflow模板→Elastic Stack
2. 核心组件：
   • 预置的Dataflow模板"Pub/Sub to Elasticsearch"
   • Base64编码的API密钥认证机制
   • 弹性搜索接收管道（ingest pipeline）

配置步骤详解

前置条件

• 在谷歌云控制台创建Pub/Sub主题和订阅
• 在Kibana界面安装GCP集成包（含预构建仪表板和配置）

模板配置流程

1. 在Dataflow产品中选择"从模板创建任务"
2. 从下拉菜单选择"Pub/Sub to Elasticsearch"模板
3. 填写必需参数：
   • 云ID（从Elastic Cloud界面获取）
   • Base64编码的API密钥（通过Create API key API生成）
   • 日志类型参数（如审计日志需填写"audit"）
4. 点击"运行任务"，等待数分钟完成部署

技术优势

• 消除虚拟机部署和数据收集器维护成本
• 保持与原有Elasticsearch接收管道的兼容性
• 支持弹性云、谷歌云市场部署和自托管环境

效果验证

配置完成后，用户可在Kibana的[Logs GCP]仪表板中实时查看解析后的日志数据和可视化图表，整个过程无需离开谷歌云控制台界面。

更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
公众号二维码