导出 CDH 中各组件（HDFS、Hive、Impala、Kafka、Kudu、YARN和Zookeeper）指标到 Prometheus

原创 已于 2024-06-15 11:19:04 修改 · 1.4k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#grafana #hive #hdfs #kafka #yarn #zookeeper

于 2024-05-03 16:57:00 首次发布

文章目录

前言

本教程介绍了如何提取大数据集群中不同组件的指标信息，涵盖了HDFS、Hive、Impala、Kafka、Kudu、YARN和Zookeeper等组件，通过配置环境变量以启用JMX监控，并展示了具体操作步骤和配置方法。

一、提取准备

1. 下载jmx

mkdir -p /opt/soft/jmx/config
wget https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.18.0/jmx_prometheus_javaagent-0.18.0.jar -P /opt/soft/jmx/config/

2. 创建规则文件

echo "lowercaseOutputName: true
lowercaseOutputLabelNames: true
rules:
    - pattern: '.*'" > /opt/soft/jmx/config/common_conf.yml

二、HDFS指标提取

1. namenode指标提取

在Cloudera Manager的UI页面打开HDFS集群，点击配置，找到NameNode 环境高级配置代码段（安全阀），添加如下配置：

HADOOP_NAMENODE_OPTS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.local.only=false -Dcom.sun.management.jmxremote.port=2870 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=10870:/opt/soft/jmx/config/common_conf.yml

2. datanode指标提取

在Cloudera Manager的UI页面打开HDFS集群，点击配置，找到DataNode 环境高级配置代码段（安全阀），添加如下配置：

HADOOP_DATANODE_OPTS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.local.only=false -Dcom.sun.management.jmxremote.port=2864 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=10864:/opt/soft/jmx/config/common_conf.yml

配置之后需要重启HDFS服务使配置生效。

二、Hive指标提取

1. Hive Metastore Server 指标提取

在Cloudera Manager的UI页面打开Hive集群，点击配置，找到Hive Metastore Server 环境高级配置代码段（安全阀），添加如下配置：

HADOOP_OPTS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=2083 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=10083:/opt/soft/jmx/config/common_conf.yml

2. HiveServer2 指标提取

在Cloudera Manager的UI页面打开Hive集群，点击配置，找到HiveServer2 环境高级配置代码段（安全阀），添加如下配置：

HADOOP_OPTS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=2002 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=11002:/opt/soft/jmx/config/common_conf.yml

配置之后需要重启Hive服务使配置生效。

三、Impala 指标提取

1. Impala Catalog Server 指标提取

在Cloudera Manager的UI页面打开Impala集群，点击配置，找到Impala Catalog Server 环境高级配置代码段（安全阀），添加如下配置：

JAVA_TOOL_OPTIONS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=2020 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=26020:/opt/soft/jmx/config/common_conf.yml

2. Impala Daemon 指标提取

在Cloudera Manager的UI页面打开Impala集群，点击配置，找到Impala Daemon 环境高级配置代码段（安全阀），添加如下配置：

JAVA_TOOL_OPTIONS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=2000 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=26000:/opt/soft/jmx/config/common_conf.yml

配置之后需要重启Impala服务使配置生效。

参考链接：https://cwiki.apache.org/confluence/display/IMPALA/How+to+do+JVM+Profiling+for+Impala

四、Kafka 指标提取

1. Kafka Broker 指标提取

在Cloudera Manager的UI页面打开Kafka集群，点击配置，找到Kafka Broker 环境高级配置代码段（安全阀），添加如下配置：

KAFKA_JMX_OPTS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=2092 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=10092:/opt/soft/jmx/config/common_conf.yml

2. Kafka MirrorMaker 指标提取

在Cloudera Manager的UI页面打开Kafka集群，点击配置，找到Kafka MirrorMaker 环境高级配置代码段（安全阀），添加如下配置：

KAFKA_JMX_OPTS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=2192 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=20092:/opt/soft/jmx/config/common_conf.yml

配置之后需要重启Kafka服务使配置生效。

参考链接：https://docs.confluent.io/platform/current/kafka/monitoring.html

五、KUDU指标提取

1. Tablet Server 指标提取

1.1 下载和解压

wget https://github.com/leeeizhang/Prometheus-Kudu-Exporter/releases/download/v0.2.0/prometheus-kudu-exporter-binary-0.2.0.tar.gz -P /tmp
tar -zxvf /tmp/prometheus-kudu-exporter-binary-0.2.0.tar.gz -C /opt/soft/jmx/config/

1.2 修改配置文件

vim /opt/soft/jmx/config/prometheus-kudu-exporter/conf/kudu-exporter.yml

内容如下所示。

# Fetcher配置
# Kudu服务器的端口应该是8051,Kudu平板服务器应该是8050
prom.kudu.fetcher.classname: io.prometheus.kudu.fetcher.KuduMetricRestFetcher
prom.kudu.fetcher.kudu-nodes: [ host_ip:8050 ]
prom.kudu.fetcher.interval: 10000

#单机报表配置
#启动后请访问http://localhost:9055/metrics查看kudu-export状态
prom.kudu.reporter.classname: io.prometheus.kudu.reporter.KuduMetricLocalReporter
prom.kudu.reporter.local.port: 9050

# Push-Gateway 报表配置
# Push-Gateway应该在运行kudu-export之前安装
#prom.kudu.reporter.classname: io.prometheus.kudu.reporter.KuduMetricPushGatewayReporter
#prom.kudu.reporter.pushgateway.host: 127.0.0.1:9091
#prom.kudu.reporter.pushgateway.interval: 10000

1.3 启动和停止

1.3.1 启动
nohup /opt/soft/jmx/config/prometheus-kudu-exporter/bin/kudu-exporter.sh >/tmp/kudu-exporter.log 2>&1 &
1.3.2 停止

查看进程PID，然后停止对应进程。

ps -ef | grep prometheus-kudu-exporter

kill <PID>
1.3.3 测试
curl http://127.0.0.1:9050/metrics

2. Master 指标提取

2.1 创建配置文件和启动脚本

cd /opt/soft/jmx/config/prometheus-kudu-exporter/conf
cp kudu-exporter.yml kudu-exporter-master.yml
cd /opt/soft/jmx/config/prometheus-kudu-exporter/bin
cp kudu-exporter.sh kudu-exporter-master.sh

2.2 修改配置文件

cd /opt/soft/jmx/config/prometheus-kudu-exporter/conf
vim kudu-exporter-master.yml

内容如下所示。

# Fetcher配置
# Kudu服务器的端口应该是8051,Kudu平板服务器应该是8050
prom.kudu.fetcher.classname: io.prometheus.kudu.fetcher.KuduMetricRestFetcher
prom.kudu.fetcher.kudu-nodes: [ host_ip:8051 ]
prom.kudu.fetcher.interval: 10000

#单机报表配置
#启动后请访问http://localhost:9055/metrics查看kudu-export状态
prom.kudu.reporter.classname: io.prometheus.kudu.reporter.KuduMetricLocalReporter
prom.kudu.reporter.local.port: 9051

# Push-Gateway 报表配置
# Push-Gateway应该在运行kudu-export之前安装
#prom.kudu.reporter.classname: io.prometheus.kudu.reporter.KuduMetricPushGatewayReporter
#prom.kudu.reporter.pushgateway.host: 127.0.0.1:9091
#prom.kudu.reporter.pushgateway.interval: 10000

2.3 修改启动脚本

cd /opt/soft/jmx/config/prometheus-kudu-exporter/bin
vim kudu-exporter-master.sh

把启动脚本中PROMETHEUS_KUDU_EXPORTER_CONF="$PROMETHEUS_KUDU_EXPORTER_CONF_DIR"/kudu-exporter.yml修改为PROMETHEUS_KUDU_EXPORTER_CONF="$PROMETHEUS_KUDU_EXPORTER_CONF_DIR"/kudu-exporter-master.yml。

2.4 启动和停止

2.4.1 启动
nohup /opt/soft/jmx/config/prometheus-kudu-exporter/bin/kudu-exporter-master.sh >/tmp/kudu-exporter-master.log 2>&1 &
2.4.2 停止

查看进程PID，然后停止对应进程。

ps -ef | grep prometheus-kudu-exporter

kill <PID>

3. Grafana模版下载

点击下载KUDU指标JSON模版

六、YARN 指标提取

1. ResourceManager 指标提取

在Cloudera Manager的UI页面打开Kafka集群，点击配置，找到ResourceManager 环境高级配置代码段（安全阀），添加如下配置：

YARN_RESOURCEMANAGER_OPTS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=2088 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=9088:/opt/soft/jmx/config/common_conf.yml

2. NodeManager 指标提取

在Cloudera Manager的UI页面打开Kafka集群，点击配置，找到NodeManager 环境高级配置代码段（安全阀），添加如下配置：

YARN_NODEMANAGER_OPTS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=2042 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=9042:/opt/soft/jmx/config/common_conf.yml

配置之后需要重启YARN服务使配置生效。

参考链接：https://community.cloudera.com/t5/Community-Articles/Enable-JMX-metrics-on-hadoop-using-jmxterm/ta-p/247783

七、Zookeeper 指标提取

1. Server 指标提取

在Cloudera Manager的UI页面打开Kafka集群，点击配置，找到Server 环境高级配置代码段（安全阀），添加如下配置：

ZOOKEEPER_SERVER_OPTS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=9010 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=3181:/opt/soft/jmx/config/common_conf.yml

总结

本教程详细介绍了如何使用JMX Prometheus Exporter工具来提取各个大数据组件的指标信息，并将其暴露给Prometheus进行监控。通过学习本教程，您可以轻松设置并收集这些指标数据，并利用可视化工具展示和分析它们。

希望本教程对您有所帮助！如有任何疑问或问题，请随时在评论区留言。感谢阅读！

CDH6.3.2大数据集群生产环境安装(八)之各组件参数调优，yarn参数调优，hdfs参数调优等
nhm_lxy的专栏
04-11 505
CDH6.3.2大数据集群生产环境安装(八)之各组件参数调优，yarn参数调优，hdfs参数调优等
【CDH】Hue数据导入导出记录
肖御的博客
10-23 1238
关于在使用CDH集群做数据清洗和处理分析时，数据如何导入和导出做简单记录
protheus监控hbase--对接CDP/CDH集群
weixin_43697701的博客
04-06 4371
本次使用prometheus监控CDP7.4.4集群HBase 使用jmx 包为jmx_prometheus_javaagent-0.16.0.jar prometheus安装这里不赘述，只介绍如何与CDP集群对接 1、下载prometheus ​ http://prometheus.io 2、下载jmx_export https://github.com/prometheus/jmx_exporter 3、下载grafana 的dashboard模板 https://grafana.com/grafana
CDH kafka内部内网通信，producer使用外网发数据的配置报错Failed to update metadata问题
最新发布
qq_44477308的博客
06-18 825
kafka集群点击每一个broker的配置，找到kafka.properties的kafka Broker高级配置代码段（安全阀）集群通信使用192网段通信，并且使用主机名（node*），/etc/hosts里面的主机名映射也是配置的192网段。由于部署环境要求，kafka的节点都配置了双网口，不同的网段（假设为192网段和191网段）配置每个kafka的broker的主机名映射，让producer至少能连上kafka。注意是每一个broker的配置，不要在kafka集群的配置中修改。
【CDH】通过 ClouderaManager 配置CDH组件用 prometheus + hbase 监控采集JMX信息
Mrerlou的博客
03-10 3714
前言 最近需要在 cloudera manager 监控界面对CDH 的组件来用 prometheus 监控。也参考了很多网上的资料，目前很多都是修改的后台配置文件，目前测试下来，如果通过 cloudera manager 来启动服务，感觉配置没有生效。这里采用在 cloudera manager 监控界面配置参数的方式，已经测试通过。这里整理并记录一下。 具体实践 这里以 Hbase 服务为例。来进行我们配置，别的组件参考即可。 依赖组件 需要用到的服务有 prometheus grafana jmx_
深入解析《企业级数据架构》：HDFS、Yarn、Hive、HBase与Spark的核心应用
热门推荐
官方推荐
03-28 1万+
深入解析《企业级数据架构》：HDFS、Yarn、Hive、HBase与Spark的核心应用
CDH下服务的配置文件路径
不二先生的笔记
07-28 3858
1依赖CDH安装的服务 1.1 基础配置文件路径 [root@fan102 lib]# pwd /opt/cloudera/parcels/CDH/lib [root@fan102 lib]# ls avrohadoophadoop-yarnimpalaooziespark bigtop-tomcathadoop-0.20-mapreducehbaseimpala-shell...
CDH中重装kafka——清空之前产生的数据（data文件数据与Zookeeper中的数据）
01-20
如果在CDH中安装过Kafka后，后面需要重新安装则可以参考此篇博文。 一、删除Kafka产生的data 重新安装kafka，后面重新分配的kafka一直安装不成功，是因为停用时不会删除已经有点数据。所以需要注意删除 /var/local/...
CDH6.0、6.1篇：4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)
laughing1997的博客
03-29 1822
前置工作： 在CDH安装之前必须保证NODE1主节点中的以下程序均已启动 1.每台机器：根据aliyun提供的服务进行 时间同步：ntpdate -u ntp6.aliyun.com 启动服务 systemctl start ntpd、systemctl restart ntpd 查看是否启动 ps -ef | grep ntpd 开机启动 systemctl enable ntp...
使用IDEA工具连接CDH集群里面的hive组件
10-06
本篇文章将详细介绍如何使用IDEA连接到CDH（Cloudera Distribution Including Apache Hadoop）集群中的Hive组件，以便进行Hive SQL的编写、测试和执行。 首先，我们需要创建一个Java工程。在IDEA中，点击“File” -...
yum安装CDH5.5 hive、impala的过程详解
09-15
在大数据处理中，Hive和Impala是两个关键组件，它们分别提供了数据仓库和实时分析的功能。本文将详细阐述通过YUM包管理器在CDH5.5环境下安装Hive和Impala的步骤，以及必要的配置和设置。 一、安装Hive组件 1. **...
zookeeper-3.4.5-cdh5.10.0.tar.gz
05-12
zookeeper-3.4.5-cdh5.10.0.tar.gz工具包用于支持hadoop的高可用热备管理
zookeeper-cdh5.3.6
02-22
zookeeper-cdh5.3.6 压缩包，直接解压并修改相关配置文件即可使用， zookeeper-cdh5.3.6 压缩包，直接解压并修改相关配置文件即可使用， zookeeper-cdh5.3.6 压缩包，直接解压并修改相关配置文件即可使用
zookeeper-3.4.5-cdh5.5.2.jar
11-09
大数据分布式应用程序协调服务zookeeper-3.4.5-cdh5.5.2.jar包，欢迎下载，亲测使用
hadoop-hdfs-fsimage-exporter：将Hadoop HDFS内容统计信息导出到Prometheus
02-03
Prometheus Hadoop HDFS FSImage导出器 | 将Hadoop HDFS统计信息导出到包括 总数/每个用户/每个组/每个配置的目录路径/每个路径集 目录数 文件数 文件大小和大小分布（可选） 块数 文件复制（总体/每个用户摘要） 导出器使用解析FSImage。 这种方法的优点是 快速（2.6 GB FSImage〜50s） 不会给HDFS NameNode增加额外的负担（没有NameNode查询，您可以在第二个NameNode上运行它） 缺点是 没有实时更新，仅在NameNode写入FSImage时每6小时更新一次。 但是对于大多数情况（长期趋势，检测HDF
prometheus监控规则大全
02-16
prometheus监控规则大全 node规则，redis监控，es监控，vmware监控，ipmi监控，ceph监控，etcd监控，k8s监控，mysql监控，openstack监控，os监控，交换机监控，windows监控，cdh监控，calico监控规则监控
03 hdfs 文件操作（导入/导出）
ingha的博客
11-14 1636
目录的绝对路径创建目录: hdfs dfs -mkdir 目录的绝对路径创建文件: hdfs dfs -touch 文件的绝对路径移动目录/文件: hdfs dfs -mv 要移动的目录或者文件的绝对路径 目标位置绝对路径复制目录/文件: hdfs dfs -cp 要复制的目录或者文件的绝对路径 目标位置绝对路径删除目录/文件: hdfs dfs -rm [-r] 要删除的目录或者文件的绝对路径。
cdh>kudu数据导入导出
测试小宝宝
01-04 8033
背景 数据可视化系统2.0使用cdh，上线后发现生产环境很多数据对不上； 开发进行了查询修改，需要在测试环境复验，需要把生产环境的kudu数据导出一份，再导入到测试环境进行验证； 1、kudu数据导出 登录服务器cdh集群impala所在服务器，执行以下命令： impala-shell -q "select * from kudu_test.package_statistic
大数据集群资源监控（一）—— IDC集群相关指标获取
呼呼的小窝
04-11 2340
背景： 公司自建IDC机房，基于IDC机房构建大数据集群；需要对集群资源进行监控，集群采用的是CDH集群，采集主要分两块进行： HDFS和YARN相关的指标进行采集 IDC机器自身的指标进行采集 注意： 也许有人会有疑惑，CM界面已经提供了监控的图表，为什么还需要自己进行展示。原因在于，这些信息需要集成到内部的数据平台上面去，做成对应的数据报表，可视化的方式展示在自己的数据平台上 [待更新… ...
CDH集群的yarn、hdfs、hive、impala运维
04-07
CDH（Cloudera Distribution of Hadoop）是一种开源的分布式计算框架，它包含了Hadoop、Yarn、HDFS等组件，同时还提供了Hive、Impala等工具，可以方便地进行大数据处理和分析。 在CDH集群中，Yarn、HDFS、Hive、Impala是四个核心组件，运维这些组件需要掌握以下几个方面： 1. Yarn运维 Yarn是CDH中的资源管理器，它负责管理集群中的资源，并将这些资源分配给运行在集群上的各个应用程序。Yarn的运维涉及到以下几个方面： （1）配置管理：包括Yarn的配置文件、资源管理器的配置、容器管理器的配置等。 （2）集群监控：需要监控Yarn的运行状态、资源使用情况、队列状态等。 （3）任务调度：需要管理Yarn中的作业和任务，包括调度作业、监控任务执行、处理任务失败等。 2. HDFS运维 HDFS是CDH中的分布式文件系统，它负责存储集群中的数据，并提供高可用、高性能的数据访问服务。HDFS的运维涉及到以下几个方面： （1）配置管理：包括HDFS的配置文件、NameNode的配置、DataNode的配置等。 （2）集群监控：需要监控HDFS的运行状态、数据存储情况、数据访问情况等。 （3）数据管理：需要管理HDFS中的数据，包括上传、下载、删除、修改等操作。 3. Hive运维 Hive是CDH中的数据仓库工具，它可以将结构化数据映射到Hadoop中的HDFS和MapReduce上进行查询和分析。Hive的运维涉及到以下几个方面： （1）配置管理：包括Hive的配置文件、元数据存储配置、查询引擎配置等。 （2）查询优化：需要对Hive中的查询语句进行优化，以提高查询性能。 （3）数据管理：需要管理Hive中的数据，包括创建表、导入数据、备份数据等。 4. Impala运维 Impala是CDH中的实时查询工具，它可以在Hadoop中实现快速查询和分析。Impala的运维涉及到以下几个方面： （1）配置管理：包括Impala的配置文件、元数据存储配置、查询引擎配置等。 （2）查询优化：需要对Impala中的查询语句进行优化，以提高查询性能。 （3）数据管理：需要管理Impala中的数据，包括创建表、导入数据、备份数据等。 总之，CDH集群的运维需要从多个方面进行管理和监控，只有全面掌握各个组件的运维方法，才能保证集群的稳定性和高可用性。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BigDataMagician

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值