ElasticSearch离线分析-构建千亿级日志分析系统

1、背景介绍

上篇讲到实时日志的采集和分析，本篇介绍离线日志的分析，为何要做离线日志分析？业务场景的不同，系统的规模扩大后，日志量随着上升，上升到需要付出昂贵的成本才能满足分析，动辄每天几TB的日志，给索引和查询都带来很大的压力，

为尽量满足查询分析的诉求又合理控制成本，我们需要设计一套离线日志采集与分析系统，主要满足如下业务场景：

1)回溯半个月前的问题，遇到长假系统会在线上运行一周无人分析定位业务问题，而实时系统存储的数据量有限，半个月前的日志在实时系统已经查不到（过期删除），为回溯定位问题，我们可以从离线日志系统中拉取日志进行分析；

2)访问日志特征分析，例如，分析过去一个月的网站访问日志；

3)分析业务系统的全量日志，很多同学为定位问题方便习惯在线上打印很多Debug日志，Debug记录了详细的流水信息，往往日志量比较大，如果实时上传会给实时日志系统带来很大冲击，合理的做法是上传关键的Info日志，解决大部分问题定位，如需查找Debug日志进行详细的问题定位可以通过离线日志进行分析。

架构包含采集器、云存储、处理器、存储分析四个模块。

2、采集器

离线采集文件日志，本篇介绍的架构里使用Go语言开发了一个简单的离线日志采集器，监控日志文件目录，定期采集日志上传到AWS S3，如果没有使