背锅神童的博客

本文介绍了轻量级日志采集工具Filebeat的架构原理及应用实践。Filebeat作为Beats家族成员，相比Logstash资源消耗更低，采用Go语言开发。其核心架构包含Input（支持log、syslog等数据源）、Processor（提供简单数据处理）和Output（支持Elasticsearch、Logstash等输出）三大组件。文章详细解析了Filebeat的工作原理，包括日志文件的发现、Harvester收集机制等，并提供了从Logstash转发到Filebeat的实践案例，展示了如何配置fil

Logstash是Elastic公司开源的收集、解析和转换日志的工具，可以方便地把分散的、多样化的日志收集起来，然后进行自定义处理，最后将其传输到指定的目的地。Logstash是由JRuby语言编写的，使用基于消息的简单架构，在JVM上运行。   Logstash常被用于在日志关系系统中作为日志采集设备，最常被用于ELK（Elasticsearch +Logstash + Kibana）中作为日志收集器。

   ● 数据存储方式：   MySQL是关系型数据库管理系统（RDBMS），它使用表格来组织数据，并支持SQL查询语言。   ClickHouse是列式数据库管理系统（Columnar DBMS），它以列为单位存储数据，这使得它在处理大量数据时非常高效。   ● 用途：   MySQL通常用于事务处理（OLTP）工作负载，比如Web应用程序的后端数据库，支持高并发的读写操作。   ClickHouse则更适合于分析型（OLAP）工作负载，用于大规模数据分析和报告，以及实时数据分析。  

本文使用CDH6.3.2手把手指导搭建Hadoop集群环境

kafka架构分析及应用

大数据业务使用场景，使用nginx作为数据采集接收端