Centos7-小米-open-falcon 监控系统

最新推荐文章于 2024-05-06 16:45:22 发布
最新推荐文章于 2024-05-06 16:45:22 发布
阅读量665 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： Linux运维与服务搭建配置 文章标签： 数据库 redis docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38626043/article/details/108835380
本文详细介绍了Open-Falcon的组件功能、部署流程，以及其自动发现和策略模板的优点，同时提到了社区支持的不足。重点讲解了docker容器化部署步骤和关键组件的作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一. open-falcon概述

优点：自动发现，策略模板…
缺点：社区较差…

github：https://github.com/open-falcon

1. 相关组件

组件作用
agent目前 agent 服务已经覆盖公司大部分机器，一个自动采集机器指标的自动化服务。数据上报支持三种方式: 1. agent 自采集基础监控上报；2. 用户自定义推送数据 (数据按照指定格式推送到本地 agent 端口)；3. 插件采集上报。
hbs心跳服务器，定时从 DB 获取节点与主机对应关系、插件与节点绑定列表、模板、策略、全局策略等信息；将插件与节点绑定关系解析为插件与主机一一对应关系，并提供 rpc 接口方便所有 agent 查询；将 agent 上报的版本信息、插件信息写入 falcon 数据库；将模板、策略解析为策略与主机的关系对应表，与全局策略一起，以 rpc 方式提供给 judge 服务，方便其定时获取。
transfer启动时维护两个一致性哈希列表，分别对应 graph 服务与 judge 服务，用于通过 endpoint 和 counter 计算得到的 MD5，定位每条监控数据应该存储到哪个 graph 实例和 judge 实例；提供数据转发功能，将 agent 通过 rpc 上报的监控数据，通过一致性哈希定位后，上报给相应的 graph 实例和 judge 实例；使用 rpc 接口提供 history 监控数据查询功能，用于绘图展示等。
graph接入 rrdtool，用于监控数据持久化，通过 endpoint 和 counter 计算的 MD5 确定文件名；提供 rpc 接口，接收 transfer 上报的监控数据，并支持缓存，每个监控数据缓存半小时后再做数据持久化以减轻磁盘 IO 压力，提高整体吞吐量；提供索引缓存，每一个监控数据上报后，通过 endpoint、counter、step、timestamp 构建缓存，如果已存在则更新 timestamp，否则新建并上报至 graph 数据库；提供历史监控数据查询的 rpc 接口，便于 transfer 调用查询，查询时先通过索引缓存确认相应的 endpoint、counter 是否存在，如果存在则查询合并 rrd 文件中持久化数据与缓存数据并返回，否则直接返回。
judge定时从 hbs 服务获取主机与策略的一一对应关系、以及全局策略，统称告警策略，用于告警判别；提供 rpc 接口，用于接收 transfer 上报的监控数据，收到每条数据时，遍历所有告警策略，如果符合告警条件，则将告警策略和监控数据存储到 redis 队列。
alarm不停遍历 redis 队列，从中取出 judge 存储的告警策略和监控数据，写入报警数据库，然后依照告警策略中配置的告警组和获取告警成员的联系方式，和告警形成一一对应的关系，上报给 redis，方便 alarm 的下游服务进行告警发送。
ctrlctrl 组件集成了为 dashboard 绘图、portal 报警配置、uic 管理等，ctrl 提供纯后端 RESTful API，该服务提供了绘图展示、历史数据查看，同时包含模板、策略、全局策略、集群聚合、Nodata、节点、主机列表、权限、告警组的管理等功能。
aggregator集群监控的本质是一个聚合功能。单台机器的监控指标难以反应整个集群的情况，我们需要把整个集群的机器（体现为 xbox 某个节点下的机器）综合起来看。比如所有机器的 qps 加和才是整个集群的 qps，所有机器的 request_fail 数量 ÷ 所有机器的 request_total 数量 = 整个集群的请求失败率。我们计算出集群的某个整体指标之后，也会有 “查看该指标的历史趋势图” “为该指标配置报警” 这种需求，故而，我们会把这个指标重新 push 回监控 server 端，于是，你就可以把她当成一个普通 counter 来对待了。
nodatanodata 能够和 judge 一起，监测采集项的上报异常，过程为: 配置了 nodata 的采集项超时未上报数据，nodata 生成一条非法的 mock 数据；用户在 judge 上配置相应的报警策略，收到 mock 数据就产生报警。采集项上报异常检测，作为 judge 的一个必要补充，能够使 judge 的实时报警功能更加完善、可靠。nodata 只为少数重要的采集项服务，其处理的采集项的数量，应该不多于 judge 的十分之一。滥用 nodata，将会给 falcon 的运维管理带来很多问题。通常 nodata 按照 step 从绘图中取不到打点数据时候，当然是有一定的容错 step，一般我们控制在 2 到 3 个 step。

在这里插入图片描述

二. 部署open-falcon

open-falcon支持docker容器化部署与二进制部署

1. docker容器部署 open-falcon

创建mysql容器

$ docker pull mysql:5.7
$ docker container run -itd \
--name falcon-mysql \
-v /home/falcon/work/mysql-data:/var/lib/mysql \
-e MYSQL_ROOT_PASSWORD=12345678 -p 3307:3306 mysql:5.7

在这里插入图片描述

写入数据库

$ git clone https://github.com/open-falcon/falcon-plus/releases
$ cd /home/falcon-plus
$ for x in `ls ./scripts/mysql/db_schema/*.sql`; \
do echo init mysql table $x ...; \
docker exec -i falcon-mysql mysql -uroot -p12345678 < $x; done

部署 前后端

$ docker pull redis:4-alpine3.8
$ docker container run -d --name falcon-redis -p6379:6379 redis:4-alpine3.8

falcon-plus前端

$ docker pull openfalcon/falcon-plus:v0.3
$ docker container run -itd \
--name falcn-plus --link=falcon-mysql:db.falcon \
--link=falcon-redis:redis.falcon \
-p 8433:8433 -p 8081:8080 \
-e MYSQL_PORT=root:12345678@tcp\(db.falcon:3306\) \
-e REDIS_PORT=redis.falcon:6379 \
-v /home/work/open-falcon/data:/open-falcon/data \
-v /home/work/open-falcon/logs:/open-falcon/logs \
openfalcon/falcon-plus:v0.3

根据需求添加后端组建

$ docker exec ac11e1b7e7f7 ./open-falcon check
$ docker exec ac11e1b7e7f7 ./ctrl.sh start all

falcon-dashboard后端

$ docker pull openfalcon/falcon-dashboard:v0.2.1 
$ docker container run -itd --name falcon-dashboard -p 8082:8081 \
--link=falcon-mysql:db.falcon --link=falcn-plus:api.falcon \
-e API_ADDR=http://api.falcon:8080/api/v1 -e PORTAL_DB_HOST=db.falcon -e PORTAL_DB_PORT=3306 \
-e PORTAL_DB_USER=root -e PORTAL_DB_PASS=12345678 -e PORTAL_DB_NAME=falcon_portal \
-e ALARM_DB_HOST=db.falcon -e ALARM_DB_PORT=3306 -e ALARM_DB_USER=root \
-e ALARM_DB_PASS=12345678 -e ALARM_DB_NAME=alarms \
-w /open-falcon/dashboard openfalcon/falcon-dashboard:v0.2.1 \
'./control startfg'

前后端组件启动后就可以访问open-falcon的web界面了，第一次进入需要注册

在这里插入图片描述
小米-open-falcon web 控制界面

在这里插入图片描述
在这里插入图片描述

总结：不太好用。。。。

CentOS-7 单机部署 Open-Falcon 小米开源监控系统
Chiron技术栈
01-29 487
Open-Falcon 介绍： OpenFalcon是一款企业级、高可用、可扩展的开源监控解决方案。 目前：在 github 上取得了数千个star和上千次fork。 官方介绍：https://book.open-falcon.org/zh_0_2/intro/ Open-Falcon 特点： 强大灵活的数据采集：自动发现，支持falcon-agent、snmp、支持用户主动push、用户自定义插件支持、opentsdb data model like（timestamp、endpoint、metri
小米开源监控系统监控mysql_小米开源监控 Open-Falcon 3.0 部署
weixin_39995108的博客
02-03 530
一、系统环境准备目前我这里使用单机版进行部署，也可以前后端进行分离，前端，后端，数据库分别在不同的服务器上进行部署搭建1、更改主机名[root@localhost ~]# hostnamectl set-hostname open-falcon[root@localhost ~]# su[root@open-falcon ~]#2、配置阿里源####备份系统BASE源[root@open-falc...
OpenFalcon关于单节点部署方面的实践总结
hwc56的专栏
04-20 261
OpenFalcon单节点支持规模分析 一、概述 OpenFalcon核心组件有agent、transfer、graph、judge、hbs等，其中transfer、graph、judge三个组件分别对网络资源、磁盘资源、内存资源消耗比较高，承受压力最大，资源消耗也最大。由于agent采集数据后上报到transfer，再由transfer转发到graph、judge，所...
open-falcon
07-19
open-falcon 监控报警系统
centos 7 部署 open-falcon 0.2.0
weixin_30906701的博客
06-11 162
2017/12/06_第2次修改ccb_warlock 更新说明： 2017/12/06：由于open-falcon已有0.2.1，增加文字说明，避免命令一路执行下来出现问题（例如“2.2 解压二进制包”）。 =============================================== 我也是因为工作需要刚刚接触...
运维监控系统之Open-Falcon
Richardlygo的博客
11-04 3985
一、Open-Falcon介绍 open-falcon是一款用golang和python写的监控系统，由小米启动这个项目。 1、监控系统，可以从运营级别（基本配置即可），以及应用级别（二次开发，通过端口进行日志上报），对服务器、操作系统、中间件、应用进行全面的监控，及报警，对我们的系统正常运行的作用非常重要。 2、基础监控 CPU、Load、内存、磁盘、IO、网络相关、内核参数、ss 统计...
CentOS7分布式部署open-falcon0.3.0实践.docx
07-31
Open-Falcon是一种开源的、企业级的、高可用、可扩展的监控系统，最早由小米云平台团队发起和开源，在2015年5月开源Beta版并正式命名为“Open-Falcon”，目前已经成为国内互联网公司使用最广泛的监控系统之一。 open-falcon支持分布式部署。但目前网上大都是单机版的部署文档。本资源是基于虚拟机环境进行分布式部署的操作文档。大家共同学习，共同进步。转载请标明作者果然有点醉
小米监控系统open-falcon搭建（一）
最新发布
fengbin2005的专栏
05-06 2006
还是把官网介绍盗过来吧，要不老得去打官网。Bash监控系统是整个运维环节，乃至整个产品生命周期中最重要的一环，事前及时预警发现故障，事后提供翔实的数据用于追查定位问题。监控系统作为一个成熟的运维产品，业界有很多开源的实现可供选择。当公司刚刚起步，业务规模较小，运维团队也刚刚建立的初期，选择一款开源的监控系统，是一个省时省力，效率最高的方案。之后，随着业务规模的持续快速增长，监控的对象也越来越多，越来越复杂，监控系统的使用对象也从最初少数的几个SRE，扩大为更多的DEVS，SRE。
Open-Falcon 小米开源监控系统Dashboard使用操作与告警通知
Chiron技术栈
01-29 1103
管理员"root"注册
监控系统之Open-Falcon
weixin_42309324的博客
06-29 1922
一、Open-Falcon介绍 open-falcon是一款用golang和python写的监控系统，由小米启动这个项目。 1、监控系统，可以从运营级别（基本配置即可），以及应用级别（二次开发，通过端口进行日志上报），对服务器、操作系统、中间件、应用进行全面的监控，及报警，对我们的系统正常运行的作用非常重要。 2、基础监控 CPU、Load、内存、磁盘、IO、网络相关、内核参数、ss 统计输出、端口采集、核心服务的进程存活信息采集、关键业务进程资源消耗、NTP offset采集、DNS解析采集，这些指标，都
开放 Falcon（Open-Falcon）：下一代监控系统框架
gitblog_00024的博客
03-26 1146
开放 Falcon（Open-Falcon）：下一代监控系统框架 去发现同类优质开源项目:https://gitcode.com/ 是一个由阿里云开源的高性能、分布式监控系统框架。它旨在帮助企业或开发者实现大规模基础设施的实时监控，包括但不限于服务器、网络设备、服务性能等，并通过强大的数据处理和告警能力，确保系统的稳定运行。 技术分析 1. 分布式设计 Open-Falcon 采用微服务架构，各个...
centos7 部署 open-falcon 0.2.0
一个干测试的博客
12-17 189
关于open-falcon的相关部署，说实话，官方文档确实太不明确了，然后发现了这个： centos7 部署 open-falcon 0.2.0](https://www.cnblogs.com/straycats/p/7199209.html) 可以参考！很详细有用！
open-falcon 的使用
Ghost_02的博客
11-11 1456
open-falcon open-falcon 是小米公司开源的一款监控服务。 一.安装open-falcon 后台 1.redis安装与配置 yum -y install redis 2.mysql安装及配置 初始化mysql cd /tmp/ &amp;&amp; git clone https://github.com/open-falcon/falcon-plus.git...
open-falcon 小米开源监控
热门推荐
nis
05-25 2万+
1.open-falcon介绍监控系统是整个运维环节，乃至整个产品生命周期中最重要的一环，事前及时预警发现故障，事后提供翔实的数据用于追查定位问题。监控系统作为一个成熟的运维产品，业界有很多开源的实现可供选择。当公司刚刚起步，业务规模较小，运维团队也刚刚建立的初期，选择一款开源的监控系统，是一个省时省力，效率最高的方案。之后，随着业务规模的持续快速增长，监控的对象也越来越多，越来越复杂，监控系统的...
OpenFalcon简介
ez scope
02-28 7080
转载请注明出处：http://blog.csdn.net/u012842205/article/details/79397658一、说明    OpenFalcon（官方网站）是一款企业级、高可用、可扩展的开源监控解决方案。此项目最初由小米公司发起，小米运维团队从互联网公司的需求出发，根据多年的运维经验，结合SRE、SA、DEVS的使用经验和反馈，开发的一套面向互联网的企业级开源监控产品，最新版本...
小米发布的运维监控工具:open falcon
achejq的专栏
08-08 1万+
# Introduction 监控系统是整个运维环节，乃至整个产品生命周期中最重要的一环，事前及时预警发现故障，事后提供翔实的数据用于追查定位问题。监控系统作为一个成熟的运维产品，业界有很多开源的实现可供选择。当公司刚刚起步，业务规模较小，运维团队也刚刚建立的初期，选择一款开源的监控系统，是一个省时省力，效率最高的方案。之后，随着业务规模的持续快速增长，监控的对象也越来越多，越来越复杂，监控系统
Open-Falcon介绍
灰猫
12-16 1244
1、原因 zabbix等开源的监控系统在性能、扩展性、和用户的使用效率方面，已经无法支撑了。 2、特点 强大灵活的数据采集 水平扩展能力，支持每个周期上亿次的数据采集、告警判定、历史数据存储和查询 高效率的告警策略管理 人性化的告警设置：最大告警次数、告警级别、告警恢复通知、告警暂停、不同时段不同阈值、支持维护周期 高效率的graph组件：单机支撑200万metric的上报、归档、存...
CentOS-7-x86_64-Minimal-1708系统镜像下载
在了解了CentOS 7的基本特性后，用户可以从`CentOS-7-x86_64-Minimal-1708.zip`文件安装CentOS 7 minimal版本到计算机上，具体步骤包括： 1. 下载`CentOS-7-x86_64-Minimal-1708.zip`压缩包并解压。 2. 制作启动...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

_abcdef

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值