DataX是阿里巴巴的异构数据源同步工具，支持多种数据库如MySQL、Oracle等的高效同步。它通过Job、Splitter、Task、Reader、Writer等组件实现数据的并发迁移，并具有重连、重试机制，保证数据一致性。DataX可配置定时任务，并提供丰富的插件生态，便于数据仓库和数据分析。
1.dataX是什么
(1) 定义：DataX是阿里巴巴内被广泛使用的异构数据源离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。
(2) 技术支持：
(3) 设计理念：为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。
(4) 核心架构：
·结构模式
Job：一道数据同步作业
Splitter：作业划分模块，将一个大任务分解成多个可以并发的小任务。
Task：数据同步作业切分后的小任务。
Reader：数据读入模块，负责运行切分后的小任务，将数据从源头装载入DataX。
Channel：这个是指定并发数量的。
Writer：数据写出模块，负责将数据从DataX导入至目的数据地
最低0.47元/天 解锁文章
扫一扫
1995
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
