DataX 核心设计原理

DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库（MySQL、Oracle 等）、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。

一、设计理念

异构数据源离线同步是将源端数据同步到目的端，但是端与端的数据源类型种类繁多，在没有 DataX 之前，端与端的链路将组成一个复杂的网状结构，非常零散无法将同步核心逻辑抽象出来，DataX 的理念就是作为一个同步核心载体连接各类数据源，当我们需要数据同步时，只需要以插件的形式接入到 DataX 即可，将复杂的网状结构链路变成了一个星型结构，

如下图所示： 

二、框架设计

DataX本身作为离线数据同步框架，采用Framework + plugin架构构建（可插拔的设计）。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。

• Reader：数据采集模块，负责采集数据源的数据，将数据发送给Framework。
• Writer：数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。
• Framework：用于连接Reader和Writer，作为两者的数据传输通道，并处理缓存，流控，并发，数据转换等核心技术问题。

如下图所示：

 三、运行流程

下面用一个DataX作业生命周期的时序图说明DataX的运行流程、核心概念以及每个概念之间的关系。

四、核心概念

DataX 核心主要由 Job、Task Group、Task、Channel 等概念组成：

4.1、Job

在 DataX 中用来描述一个源端到一个目的端的同步作业，是 DataX 数据同步面向用户的最小业务单元。一个Job 对应 一个 JobContainer， JobContainer 负责 Job 的全局切分、调度、前置语句和后置语句等工作。

4.2、Task Group

一组 Task 的集合，根据 DataX 的公平分配策略，公平地分配 Task 到对应的 TaskGroup 中。一个 TaskGroup 对应一个 TaskGroupContainer，负责执行一组 Task。

4.3、Task

Job 的最小执行单元，一个 Job 可根据 Reader 端切分策略，且分成若干个 Task，以便于并发执行。

Job、Task Group、Task 三者之间的关系可以用如下图表示：