Prometheus—生产实践总结(原生)

最新推荐文章于 2025-07-06 16:58:46 发布
最新推荐文章于 2025-07-06 16:58:46 发布
阅读量573 收藏 4
点赞数 9
CC 4.0 BY-SA版权
分类专栏： 监控及日志体系 文章标签： prometheus
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44711737/article/details/146147392

Prometheus—生产实战(原生)

在这里插入图片描述
监控目标：
k8s、Linux、Windows、数据库、中间件

插件：
黑盒(tcp-exporter、black-exporter)、各种exporter

目录结构

在这里插入图片描述

一、监控目标Target

监控目标
在这里插入图片描述

写法一、file_sd_configs

实际内容不放到主文件, 监控端点放到target目录

  - job_name: 'mysql'
    file_sd_configs:
    - files:
      - targets/mysql/*.yaml
      refresh_interval: 5m

- targets: ['172.17.12.94:9104','172.17.12.96:9104']
  labels:
    environment: 'dev'

- targets: ['172.17.12.75:9104','172.17.12.80:9104']
  labels:
    environment: 'qa'
写法二、static_configs

实际监控端点写入主文件 (❌不推荐, 比较繁琐)

  - job_name: 'mysql_dev'
    static_configs:
      - targets: ['172.17.12.94:9104','172.17.12.96:9104']
        labels:
          environment: 'dev'
  - job_name: 'mysql_qa'
    static_configs:
      - targets: ['172.17.12.75:9104','172.17.12.80:9104']
        labels:
          environment: 'qa'
写法三、k8s监控kubernetes_sd_configs
  - job_name: 'k8s_pro_cadvisor'
    metrics_path: /metrics
    scheme: https
    kubernetes_sd_configs:
    - role: node
      api_server: https://192.168.44.245:6443
      bearer_token_file: /opt/prometheus/prometheus-2.28.1/token/k8s_pro
      tls_config:
        insecure_skip_verify: true
    bearer_token_file: /opt/prometheus/prometheus-2.28.1/token/k8s_pro
    tls_config:
      insecure_skip_verify: true
    relabel_configs:
    - source_labels: [__meta_kubernetes_namespace]
      target_label: environment
      replacement: prod
    - action: labelmap
      regex: __meta_kubernetes_node_label_(.*)
    - action: replace
      regex: (.*)
      source_labels: ["__address__"]
      target_label: __address__
      replacement: 192.168.44.245:6443
    - action: replace
      source_labels: [__meta_kubernetes_node_name]
      target_label: __metrics_path__
      regex: (.*)
      replacement: /api/v1/nodes/${1}/proxy/metrics/cadvisor
    metric_relabel_configs:
    - source_labels: [__name__]
      regex: container_tasks_state|container_fs_(.*)|go_(.*),container_memory_failures_total,container_threads(.*),container_memory_cache,container_memory_failcnt,container_memory_mapped_file,container_memory_max_usage_bytes,container_memory_rss,container_memory_swap,container_spec_(.*)
      action: drop

  - job_name: 'k8s_pro_kubelet'
    metrics_path: /metrics
    scheme: https
    kubernetes_sd_configs:
    - role: node
      api_server: https://192.168.44.245:6443
      bearer_token_file: /opt/prometheus/prometheus-2.28.1/token/k8s_pro
      tls_config:
        insecure_skip_verify: true
    bearer_token_file: /opt/prometheus/prometheus-2.28.1/token/k8s_pro
    tls_config:
      insecure_skip_verify: true
    relabel_configs:
    - source_labels: [__meta_kubernetes_namespace]
      target_label: environment
      replacement: prod
    - action: labelmap
      regex: __meta_kubernetes_node_label_(.*)
    - action: replace
      regex: (.*)
      source_labels: ["__address__"]
      target_label: __address__
      replacement: 192.168.44.245:6443
    - action: replace
      source_labels: [__meta_kubernetes_node_name]
      target_label: __metrics_path__
      regex: (.*)
      replacement: /api/v1/nodes/${1}/proxy/metrics
    metric_relabel_configs:
    - source_labels: [__name__]
      regex: rest_client_request_duration_seconds_bucket|storage_operation_duration_seconds_bucket|go_(.*)
      action: drop

  - job_name: 'k8s_pro_exporter'
    metrics_path: /metrics
    scheme: http
    kubernetes_sd_configs:
    - role: node
      api_server: https://192.168.44.245:6443
      bearer_token_file: /opt/prometheus/prometheus-2.28.1/token/k8s_pro
      tls_config:
        insecure_skip_verify: true
    bearer_token_file: /opt/prometheus/prometheus-2.28.1/token/k8s_pro
    tls_config:
      insecure_skip_verify: true
    relabel_configs:
    - source_labels: [__meta_kubernetes_namespace]
      target_label: environment
      replacement: prod
    - action: labelmap
      regex: __meta_kubernetes_node_label_(.*)
    - action: replace
      source_labels: ["__meta_kubernetes_node_address_InternalIP"]
      target_label: __address__
      replacement: ${1}:9100
    metric_relabel_configs:
    - source_labels: [__name__]
      regex: go_(.*)
      action: drop

  - job_name: 'kube-state-metrics-prod'
    kubernetes_sd_configs:
    - role: endpoints
      api_server: https://192.168.44.245:6443
      bearer_token_file: /opt/prometheus/prometheus-2.28.1/token/k8s_pro
      tls_config:
        insecure_skip_verify: true
    bearer_token_file: /opt/prometheus/prometheus-2.28.1/token/k8s_pro
    tls_config:
      insecure_skip_verify: true
    relabel_configs:
    - source_labels: [__meta_kubernetes_namespace, __meta_kubernetes_service_name, __meta_kubernetes_pod_name]
      action: keep
      regex: kube-system;kube-state-metrics;.*
    - action: labelmap
      regex: __meta_kubernetes_service_label_(.+)
    - source_labels: [__meta_kubernetes_namespace, __meta_kubernetes_service_name]
      action: replace
      target_label: job
      replacement: kube-state-metrics
    - source_labels: [__meta_kubernetes_namespace]
      target_label: environment
      replacement: prod

[root@BETAWS32 prometheus-2.28.1]# cat /opt/prometheus/prometheus-2.28.1/token/k8s_pro
eyJhbxxxxxxU5wQxxxxxUUifQ.exxxxxxxxxxxx

二、配置告警rules

rule_files:
  - "rules/*.yaml"

groups:
- name: k8s_pods
  rules:
  - alert: 容器cpu使用率
    expr: sum by (pod,instance,environment) (rate(container_cpu_usage_seconds_total{container!="istio-proxy",container!="POD",namespace=~"beta.*",image!=""}[3m]))/(sum by (pod,instance,environment) (container_spec_cpu_quota{container!="istio-proxy",container!="POD",image!="",namespace=~"beta.*"}) / 100000) > 0.90
    for: 0m
    labels:
      severity: warning
      team: operations
    annotations:
      description: "容器{{ $labels.namespace }}/{{ $labels.pod }} CPU使用率超过90%, 当前使用率{{ $value }}"
      summary: "容器{{ $labels.namespace }}/{{ $labels.pod }} CPU使用率超过90%, 当前使用率{{ $value }}"

告警配置

在这里插入图片描述

覆盖范围

alertmanger:

1、linux 主机 - cpu - mem - net - volume - io - process

2、windows 主机 - cpu - mem - net - volume - io - process - services - iis

3、consul - servicecheck - mastercheck - agentcheck

4、pod - cpu - mem - io - hpa - deployment - statefulset - daemonset - health - crash - kube certificate

5、envoy - cluster upstream

6、 istio

7、coredns

8、blackbox - http check - check slow - ssl certificate

9、数据库: mysql、redis、sqlserver—没覆盖、mongodb

热更新

curl -X PUT localhost:9090/-/reload

静默

在这里插入图片描述

资源

  • prometheus.yml
  • weixin.tmpl
  • alertmanager.yml
prometheus基于文件的自动服务发现配置file_sd_configs
空山新雨后，天气晚来秋
07-09 2811
prometheus.yml中static_configs字段是静态配置，将要监控的目标加进来。基于实践基础和工作情况需要，本次采用文件发现则需要配置file_sd_configs字段，如下： 即，将被监控机作为一个群组加入一个json文件，从targets目录读取该文件，json文件如下： 如果你的业务想细分，则可定义多个json文件来划分不同的集群或组，比如可创建 模块1.json模块2.json 等多个文件，将按组划分。 启动服务，看看效果如何： 可以看到都被发现了，...
【云原生监控】Prometheus 普罗米修斯从搭建到使用详解
congge
06-30 9044
Prometheus 使用详解
Prometheus 基于文件的服务发现 file_sd_configs
小楼一夜听春雨，深巷明朝卖杏花
03-09 1432
需要动态变更的时候，不需要写死到Prometheus的配置文件当中，可以使用服务发现写到文件当中去，这样有变化就去改文件就行了，不需要直接去修改Prometheus的配置文件。 基于文件的服务发现 除了基于 Consul 的服务发现之外，Prometheus 也允许我们进行自定义的发现集成，可以通过 watch 一组本地文件来获取抓取目标以及标签信息，也就是我们常说的基于文件的服务发现方式。 在prometheus当中会去watch本地的目标文件，如果目标文件有更新会将target监控目标做一个.
Prometheus之file_sd_configs配置
liu_xue_xue的专栏
09-02 2126
基于文件的服务注册方式，可以将target的配置信息单独的写入json或者yaml配置文件中，然后将这些配置文件添加到file_sd_configs中，Prometheus服务会定期检测这些服务是否发生变化，若发生变化，则会重新配置target信息。Prometheus 服务除了通过静态配置【static_configs】配置target地址之外，还可以通过服务发现的方式来抓取目标，例如kubernetes，consol等，如果不基于容器部署，那么这里介绍基于文件的服务发现方式可能适合你。
监控之美--prometheus配置文件动态管理
weixin_33802505的博客
09-13 913
Prometheus是一套开源的监控、报警解决方案，是由SoundCloud公司开发的，从 2012 年开始编写代码，再到 2015 年 开源以来，该项目有非常活跃的社区和开发人员，目前在全世界最大的男×××友社区上已经有了1.1w多star；2016 年 Prometheus 成为继 k8s 后，成为第二名 CNCF(Cloud Native Computing Fou...
Prometheus 云原生 - 基于 file_sd、http_sd 实现 Service Discovery
CYK_byte的博客
07-14 1485
我们知道在 Prometheus 配置文件中可以通过 static_configs 来配置静态地址来获取数据，但是在云环境下，特别是容器环境下，抓取的 地址 经常是变动的，也就是说，地址每次变动因此，我们不但需要去修改 prometheus.yml 文件，还需要重启 prometheus 来加载配置，十分麻烦.这个示例中，Prometheus 会每 10s 读取 '/root/prometheus/targets/' 目录下的所有以 .json 结尾的文件，获取最新的监控目标.
云原生监控方案：基于命名空间的Prometheus监控实践
AI云原生与云计算技术学院
06-24 715
在云原生架构中，Kubernetes命名空间（Namespace）作为资源隔离的基础单元，为微服务架构提供了环境隔离、权限管理和资源配额的能力。Prometheus作为云原生监控的事实标准，如何与命名空间结合实现精细化监控，成为保障分布式系统稳定性的关键课题。如何利用命名空间实现监控数据的逻辑隔离Prometheus如何动态发现不同命名空间内的监控目标如何通过配置管理实现多环境监控策略的统一管理监控数据如何与命名空间元数据关联实现多维分析核心概念。
云原生之运维监控实践-OpenEuler22.03SP3上安装Prometheus与Grafana实现主机状态监测
Heartsuit的博客
09-28 1520
本文记录了在 Docker 环境下使用 docker-compose 部署 Prometheus 和 Grafana 监控系统的过程，并通过 node-exporter 实现对主机状态的监控。文章介绍了 Prometheus 和 Grafana 的主要功能，提供了具体的安装步骤、配置文件示例、以及验证和可视化的操作指南。通过这些步骤可以在两台虚拟机上成功部署和运行 Prometheus 和 Grafana ，并实现对微服务主机的监控和数据可视化。
性能监控工具Grafana+Prometheus测试实践
项目管理的博客
05-21 597
本文旨在为开发者和运维人员提供一份全面的Grafana+Prometheus实践指南。我们将覆盖从基础安装到高级配置的全过程，包括指标收集、可视化展示和告警设置等核心功能。核心概念解释（用生活化比喻）系统架构和工作原理环境搭建和配置实战案例演示高级功能和最佳实践指标(Metric): 系统性能的量化数据，如CPU使用率、内存占用等时间序列数据(Time-series data): 按时间顺序记录的数据点集合仪表盘(Dashboard): 可视化展示监控数据的界面Prometheus。
云原生领域 Prometheus 未来发展趋势展望
最新发布
AI云原生与云计算技术学院
07-06 968
本文旨在全面分析Prometheus监控系统在云原生环境中的未来发展趋势。我们将探讨其技术演进路线、新兴应用场景以及与周边生态系统的融合方向。分析范围涵盖Prometheus的核心架构、数据模型、查询语言以及与其他云原生技术的集成。文章首先介绍Prometheus的基本概念和当前状态，然后深入分析其核心技术原理。接着探讨Prometheus在实际项目中的应用案例，最后展望其未来发展趋势和面临的挑战。Prometheus：开源的系统监控和警报工具包，最初由SoundCloud开发，现为CNCF毕业项目。
K8S主机Prometheus监控blackbox-exporter(file_sd_configs)资源清单及镜像文件
01-19
原文链接：https://blog.csdn.net/m0_37814112/article/details/122538085 说明：基于file_sd_configs部署blackbox-exporter监控k8s服务
prometheus之自动发现-file_sd_configs
热门推荐
风一样的少年
03-28 1万+
自动发现机制方便我们在监控系统中动态的添加或者删除资源。比如zabbix可以自动发现监控主机以及监控资源。而prometheus作为一个可以与zabbix旗鼓相当的监控系统，自然也有它的自动发现机制。file_sd_configs可以用来动态的添加和删除target。 配置 修改prometheus的配置文件 在scrape_configs下面添加如下配置 - job_name: '...
prometheus监控k8s集群
fengge55的博客
04-14 9241
prometheus监控k8s集群 实现思路 pod性能： 使用cadvisor进行实现，监控容器的CPU、内存利用率 Node性能： 使用node-exporter实现，主要监控节点CPU、内存利用率 K8S资源对象： 使用kube-state-metrics实现，主要用于监控pod、deployment、service k8s基础环境准备 IP 角色 192.128.232.11 k8s-master,nfs 192.128.232.12...
Prometheus技术文档-基本使用-配置文件全解！！！！！
阿丹的博客
08-10 4216
rule_files：该配置文件用于指定告警规则文件的位置。告警规则文件包含用于触发告警的条件和操作。这些规则文件可以基于聚合的数据进行定义，以便进行更复杂的告警逻辑。：该配置文件用于指定要采集的目标列表和采集规则。它包含每个目标的服务地址、端口、请求超时等信息，以及如何从目标中抓取数据和数据处理规则等。：该配置文件是静态配置，用于手动指定要采集的目标列表。与不同，这里的配置不能动态添加或删除目标，因此适用于稳定的环境。global。
prometheus容器监控系统 （二）
m0_68138867的博客
08-19 1360
prometheus容器监控系统 （二）
【30天精通Prometheus：一站式监控实战指南】第22天：如何将Prometheus与Grafana集成，通过可视化的方式展示监控数据，提高监控效率
大唐有趣的小胡.
08-06 1620
本文深入探讨了Prometheus与Grafana集成的重要性和实现效果，首先回顾了Prometheus的核心功能及其在监控领域的应用，接着介绍了Grafana的基本概况及其在可视化方面的优势。文章进一步分析了两者结合后带来的性能提升、数据协同以及安全性增强等多方面优势。随后，文章简要概述了集成前的准备工作，并通过实战案例分享了如何集成Prometheus与Grafana来监控服务器性能，包括在Grafana中添加Prometheus作为数据源、数据源配置详解、创建并配置Grafana仪表板以及查看实时监控
构建企业级监控平台系列（二十二）：Prometheus 基于 K8S 服务发现详解
民工哥的博客
10-30 644
Prometheus中k8s服务发现的原理是通过 Kubernetes 的REST API 检索抓取目标，并始终与集群状态保持同步。所以我们需要配置Kubernetes_sd_configs来访问K8s API。比如我们要抓取k8s ingress，需要为Prometheus指定用于RBAC认证证书和serviceaccount的token。
prometheus使用 (二十) 监控Kubernetes集群
默子昂
02-18 2992
之前我们都是直接去抓取部署在宿主机上服务暴露出来的指标进行监控 K8是什么就不说了，本章主要是说一下在宿主机和容器中prometheus该如何监控K8S集群 一、宿主机prometheus监听K8 其实比较常见的还是在容器中跑prometheus，但在业务中也碰到过在宿主机部署的情况 1、监听node资源 vi /etc/prometheus/prometheus.yml global: scrape_interval: 1m evaluation_interval:..
监控神器Prometheus用不对，也就是把新手村的剑
朱小厮的博客
05-15 4904
点击上方“朱小厮的博客”，选择“设为星标”后台回复"加群"，加入新技术监控系统的历史悠久，是一个很成熟的方向，而 Prometheus 作为新生代的开源监控系统，慢慢成为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值