文章目录
Prometheus和Flink集成
Flink 提供的 Metrics 可以在 Flink 内部收集一些指标,通过这些指标让开发人员更
好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况,跑得慢或快,是否
异常等,开发人员无法实时查看所有的 Task 日志。比如作业很大或者有很多作业的情况
下,该如何处理?此时 Metrics 可以很好的帮助开发人员了解作业的当前状况。
Flink官方支持Prometheus,并且提供了对接
Prometheus 的jar 包,很方便就可以集成。
拷贝jar包
拷贝新的flink目录,flink-prometheus
将flink-metrics-prometheus-1.12.0.jar 拷贝到 <flink_home>/lib 目录下
[yudan@hadoop102 flink-prometheus]$ cp /opt/module/flink-prometheus/plugins/metrics-prometheus/flink-metrics-prometheus-1.12.0.jar /opt/module/flink-prometheus/lib/
Flink 的 Classpath 位于 lib 目录下,所以插件的jar包需要放到该目录下
修改Flink配置
进入到Flink的conf目录,修改flink-conf.yaml
[yudan@hadoop102 conf]$ vim flink-conf.yaml
添加如下配置:
##### 与Prometheus 集成配置 #####
metrics.reporter.promgateway.class:
org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter
# PushGateway 的主机名与端口号
metrics.reporter.promgateway.host: hadoop202
metrics.reporter.promgateway.port: 9091
# Flink metric 在前端展示的标签(前缀)与随机后缀
metrics.reporter.promgateway.jobName: flink-metrics-ppg
metrics.reporter.promgateway.randomJobNameSuffix: true
metrics.reporter.promgateway