阿华田的博客

1.需求 使用flume采集数据，在使用一个source情况下，将不同的日志采集到指定的kafka的主题中。 例如：有两个日志文件：error.log和info.log error.log采集到kafka的kafka_channel主题 info.log采集到kafka的kafka_channel2主题 2.解决方案 我们使用tailDir source  和kafkaChannel ...

Flume监控流程 首先在flume-ng-node中org.apache.flume.node.Application的main方法中，有两个方法分别是startAllComponents()和startAllComponents(conf)方法 其中startAllComponents(conf)方法有一个this.loadMonitoring();来启动监控方法loadMonitorin...

HA Flume流程图 搭载详细流程 在 flume1的sink中设置一个组group，这个组里面有两个sink，sink1和sink2.其中sink1负责把数据下沉到flume2。 Sink2负责把数据下沉到flume3。并且设置优先级，比如 设置sink1的优先级为1000，设置sink2的优先级为10，谁的优先级大，谁负责采集数据。最后设置一个乘法因子，设置为1...

1. 概述 什么是flume? Flume是一种分布式，可靠且可用的服务，用于高效地收集，汇总和移动大量日志数据。它具有基于流式数据流的简单而灵活的架构。它具有可靠的可靠性机制以及许多故障转移和恢复机制，具有强大的容错性和容错能力。它使用一个简单的可扩展数据模型，允许在线分析应用程序。 Flume特性 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可...