02 - ES 在绿盟企业安全平台的应用实践 - 陆攀 武汉 20250329

内容概要：本文详细介绍了Elasticsearch（ES）在绿盟企业安全平台中的大规模应用及其优化路径。首先概述了安全大数据分析的典型场景和所面临的技术挑战，如PB级别的数据量、Ad-hoc查询性能、集群稳定性和运维成本等问题。接着阐述了ES集群的具体应用场景，包括日志查询、仪表盘展示和事件告警等功能模块。针对这些问题，文中提出了多项优化措施，如多实例部署、角色分离、master节点升级、_id移除到堆外、引入混合存储等方法，有效提升了系统的稳定性和性能。最后还讨论了写入性能方面的改进，如避免多盘陷阱、采用本地写入方式、实施预判引擎以及调整动态mapping设置等。 适合人群：从事信息安全领域的技术人员，尤其是负责大型分布式系统架构设计和技术选型的专业人士。 使用场景及目标：适用于需要处理海量日志数据的企业级安全平台建设，旨在提高数据分析效率、增强系统可靠性和降低运营维护难度。 其他说明：本文不仅提供了理论指导，还分享了许多实际案例和具体实施方案，对于希望深入了解ES集群管理和调优的读者来说非常有价值。