美菜网监控实践之路-SACC2021年中国系统架构师大会.pdf

美菜网作为一家中小企业，在构建监控体系方面经历了一个持续实践和演进的过程。监控系统的构建对于企业来说是至关重要的，它能够帮助企业持续交付，推动DevOps的落地，同时通过数据驱动为研发、运维及基础设施运营团队提供赋能。对于监控系统的评价，则主要从稳定性数据平台发现问题、定位问题、异常恢复能力、API接口的开放性、SDK的可视化、查询语言的便捷性等多个维度进行。 在监控系统概述中，我们了解了监控系统的必要性：持续交付和数据驱动。而美菜网监控系统的评价则涵盖了其能力，包括稳定性数据平台发现问题、定位问题、异常恢复、OpenAPI、SDK可视化、查询语言等。美菜网的监控系统演进过程围绕着驱动因素、业务痛点、架构优化展开，经历了从一个基础的监控体系到如今高度可用和扩展性强的系统。 系统架构方面，美菜网的监控系统由以下几个子系统构成：监控指标、日志平台、链路跟踪。其中监控指标基于夜莺开发，兼容OpenFalcon，强调高可用性和告警策略。为了提升系统的扩展性，提供了服务树同步、Prometheus插件和时序存储（InfluxDB集群）等扩展点。 在监控指标方面，美菜网的监控体系覆盖了从基础指标如物理机（云主机）、容器、中间件、各种数据库和应用层（微服务）等多个层面。它支持多语言，如Java、PHP、Golang、NodeJS等，并与DevOps平台进行整合，对接了CMCB、服务树、权限系统等。日志平台利用McLog-Agent进行日志收集，对性能和稳定性监控指标进行采集，支持中文分词优化，ES集群优化，和应对突增流量的限流降级措施。链路跟踪方面，基于Skywalking开发，具有应用中心展示拓扑、社区活跃、产品成熟度高等特点，同时也支持了DevOps集成、日志平台集成以及对老版本Dubbo的兼容性。 在最佳实践方面，美菜网构建的监控系统形成了业务驱动、高效协同、持续改进、快速迭代、严格测试、文化支撑等实践。这些实践总结为监控系统建设提供了宝贵的经验，也为其它中小企业在自建监控体系方面提供了参考。 未来演进方面，美菜网的监控系统将继续考虑如何更好地支持企业业务的发展，增强系统的健壮性和扩展性，并且不断吸收新的技术和工具，以保持在监控领域的竞争力。整体来看，美菜网监控实践之路是中国企业在自建监控体系方面的一次有价值的探索和实践，它展示了在一个分布式系统及可观测性研究领域的专业知识和应用能力。