监控系统Prometheus--与第三方框架集成

本文介绍了Prometheus与Flink、Grafana的集成方法,以及Prometheus集成第三方告警平台睿象云的步骤。Flink提供Metrics可助开发人员了解作业状态,其官方支持与Prometheus集成;Grafana用于指标数据可视化;还可通过睿象云确保告警信息及时接收。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Prometheus和Flink集成

Flink 提供的 Metrics 可以在 Flink 内部收集一些指标,通过这些指标让开发人员更
好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况,跑得慢或快,是否
异常等,开发人员无法实时查看所有的 Task 日志。比如作业很大或者有很多作业的情况
下,该如何处理?此时 Metrics 可以很好的帮助开发人员了解作业的当前状况。

Flink官方支持Prometheus,并且提供了对接
Prometheus 的jar 包,很方便就可以集成。

拷贝jar包

拷贝新的flink目录,flink-prometheus

将flink-metrics-prometheus-1.12.0.jar 拷贝到 <flink_home>/lib 目录下

[yudan@hadoop102 flink-prometheus]$ cp /opt/module/flink-prometheus/plugins/metrics-prometheus/flink-metrics-prometheus-1.12.0.jar /opt/module/flink-prometheus/lib/ 

Flink 的 Classpath 位于 lib 目录下,所以插件的jar包需要放到该目录下

修改Flink配置

进入到Flink的conf目录,修改flink-conf.yaml

[yudan@hadoop102 conf]$ vim flink-conf.yaml

添加如下配置:

##### 与Prometheus 集成配置 ##### 
metrics.reporter.promgateway.class: 
org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter 
# PushGateway 的主机名与端口号 
metrics.reporter.promgateway.host: hadoop202 
metrics.reporter.promgateway.port: 9091 
# Flink metric 在前端展示的标签(前缀)与随机后缀 
metrics.reporter.promgateway.jobName: flink-metrics-ppg
metrics.reporter.promgateway.randomJobNameSuffix: true 
metrics.reporter.promgateway
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值