kafka使用_Kafka 管理工具 Kafka Eagle 安装及使用

# 下载

  Github 源码下载：

git clone https://github.com/smartloli/kafka-eagle.git

  已编译的压缩包下载：

wget https://github.com/smartloli/kafka-eagle-bin/archive/v1.4.8.tar.gz

修改 CDH 中 Kafka 服务 JMX 监听地址，默认为127.0.0.1；

将下面选中配置项中"-Dcom.sun.management.jmxremote.host=127.0.0.1 和-Djava.rmi.server.hostname=127.0.0.1"删除，修改后的配置如下

-server -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:G1HeapRegionSize=16M -XX:MinMetaspaceFreeRatio=50 -XX:MaxMetaspaceFreeRatio=80 -XX:+DisableExplicitGC -Djava.awt.headless=true -Djava.net.preferIPv4Stack=true -Dcom.sun.management.jmxremote.local.only=true

原配置：

-server -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:G1HeapRegionSize=16M -XX:MinMetaspaceFreeRatio=50 -XX:MaxMetaspaceFreeRatio=80 -XX:+DisableExplicitGC -Djava.awt.headless=true -Djava.net.preferIPv4Stack=true -Dcom.sun.management.jmxremote.host=127.0.0.1 -Dcom.sun.management.jmxremote.local.only=true -Djava.rmi.server.hostname=127.0.0.1

保存重启Kafka，启动成功后在命令行验证监听地址是否由127.0.0.1修改为0.0.0.0。

# Kafka-eagle 安装及配置

创建文件下载目录：

mkdir /mnt/data/software

下载 v1.4.8.tar.gz：

wget https://github.com/smartloli/kafka-eagle-bin/archive/v1.4.8.tar.gz

解压 v1.4.8.tar.gz：

tar zxvf v1.4.8.tar.gztar zxvf kafka-eagle-bin-1.4.8/kafka-eagle-web-1.4.8-bin.tar.gz

更名：

mv kafka-eagle-web-1.4.8 ../kafka-eagle

查看 kafka-eagle 目录下的文件：

ll /mnt/data/kafka-eagle

配置环境变量：

#kafka-eagleexport KE_HOME=/mnt/data/kafka-eagle/export export PATH=$KE_HOME/bin:$PATH#jdk1.8export JAVA_HOME=/usr/java/jdk1.8.0_202-amd64export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar:$CLASSPATH

执行命令 source /etc/profile 使环境变量生效。

配置system-config.properties文件：

kafka.eagle.zk.cluster.alias=cluster1cluster1.zk.list=192.168.24.13:2181,192.168.24.14:2181,192.168.24.15:2181,192.168.24.16:2181,192.168.24.17:2181cluster1.kafka.eagle.broker.size=20kafka.zk.limit.size=25kafka.eagle.webui.port=8048cluster1.kafka.eagle.offset.storage=kafkakafka.eagle.metrics.charts=truekafka.eagle.metrics.retain=15kafka.eagle.sql.topic.records.max=5000kafka.eagle.sql.fix.error=truekafka.eagle.topic.token=keadmincluster1.kafka.eagle.sasl.enable=falsecluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXTcluster1.kafka.eagle.sasl.mechanism=SCRAM-SHA-256cluster1.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka" password="kafka-eagle";cluster1.kafka.eagle.sasl.client.id=cluster1.kafka.eagle.sasl.cgroup.enable=falsecluster1.kafka.eagle.sasl.cgroup.topics=kafka.eagle.driver=com.mysql.jdbc.Driverkafka.eagle.url=jdbc:mysql://192.168.24.12:3306/kafkaeagle?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNullkafka.eagle.username=kafkaeaglekafka.eagle.password=123456

其他配置默认即可。

创建kafkaeagle数据库

create database kafkaeagle default character set utf8;CREATE USER 'kafkaeagle'@'%' IDENTIFIED BY '123456';GRANT ALL PRIVILEGES ON kafkaeagle. * TO 'kafkaeagle'@'%';

启动Kafka-eagle服务

chmod +x ke.sh./ke.sh start

脚本执行成功显示如下：

脚本执行成功后，会提示kafka-eagle服务的访问地址及账号密码。

访问URL：http://192.168.24.12:8048/ke；

# Kafka-eagle 使用

输入账号密码登录Kafka-eagle，进入主页

添加一个测试Topic

CM上也可以看到已创建的Topic

使用Mock功能，模拟给test_topic_eagle发送消息

查看Kafka集群现有的所有Topic

点击Topic Name查看相关信息

Consumers下可以查看所有的Group的消费Topic的情况及消费进度

通过Metrics可以看到集群的Brokers、Kafka和Zookeeper的各项监控指标

可以通过Kafka-eagle配置告警，关于消息消费延迟、Kafka和Zookeeper服务状态告警，前提是需要配置邮箱服务器信息

系统管理功能用户、角色、系统功能管理

个人感觉最帅就是Kafka Eagle BScreen