ElasticSearch实战（四十四）-Datax 开源数据离线同步方案

已于 2024-02-04 10:43:42 修改
阅读量1.3k 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： ElasticSearch实战教程 文章标签： elasticsearch
于 2021-09-22 12:05:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_19734597/article/details/120412271
本文介绍了Datax，阿里巴巴的一款离线数据同步工具，支持多种数据源之间的同步，包括从MySQL等数据库到Elasticsearch的同步。Datax通过Reader和Writer插件体系实现数据源的读取和写入。文章详细阐述了Datax的安装、配置及使用，包括从MySQL到Elasticsearch的具体同步步骤，并提到了在使用中需要注意的事项，如数据库驱动版本和Python版本要求。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

       Datax 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

        Datax 本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时 Datax 插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。

        注：Datax 和 Logstash 应用的场景差不多，简单的数据关联计算的离线同步，这两者都很好用，工作中看使用哪种方案比较顺手就用哪个就可以。

一、Datax应用场景

        Datax工具将三方数据库中的数据同步到 Elasticsearch中，DataX目前已经有了比较全面的插件体系，主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入，目前支持数据如下图：

        可以看到Elasticsearch只支持写，但是

了解本专栏 订阅专栏 解锁全文 超级会员免费看
ElasticSearch实战（四十二）-数据离线同步技术选型
专注基础架构领域
09-20 699
ElasticSearch 需要把存储在三方存储引擎中的数据进行同步，比如 Mysql/PostgreSQL/Cassandra/HBase将数据离线同步到ElasticSearch中，他们中间的数据传输需要通过三方中间件，这边离线同步技术栈选型有几种： 一、Logstash Logstash 能够动态地采集、转换和传输数据，不受格式或复杂度的影响。拥有 200 多个插件。您可以将不同的输入选择、过滤器和输出选择混合搭配、精心安排，让它们在管道中和谐地运行。
DataX 连接 Easysearch
yangmf2040的博客
01-11 592
本文介绍了使用 DataX 连接 INFINI Easysearch。
离线数仓（四）【数仓数据同步策略】
功不唐捐，玉汝于成
02-27 1794
数仓数据同步策略
如何使用 DataX 连接 Easysearch
最新发布
2501_92533451的博客
06-21 898
INFINI Easysearch 是一个分布式的搜索型数据库，实现非结构化数据检索、全文检索、向量检索、地理位置信息查询、组合索引查询、多语种支持、聚合分析等。每个数据同步的操作可称为一个任务，任务的配置文件定义了数据源(reader)、数据目的(writer) ，以及任务的设置信息，如并发数、速度控制等。DataX 是阿里开源的一款离线数据同步工具，致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。
DataX-ElasticSearch(写)
weixin_30600503的博客
11-28 1711
DataX写入ElasticSearch 1 快速介绍 数据导入elasticsearch的插件 2 实现原理 使用elasticsearch的rest api接口， 批量把从reader读入的数据写入elasticsearch 3功能说明 3.1配置样例 { "job": { "setting": { "speed": { "channel": 1,...
离线应用——业务数据同步方案探讨
weixin_34273481的博客
07-13 508
目标： 大家可以设想这样一个情景，公司已经部署信息化，且很多办公流程已经挪到线上正在运营的系统来解决，这带给企业的员工非常大的便利，节省办公时间，提高办公效率，可是我们把所有的流程和数据都放到了公司服务器，一旦离开了公司，我们就相当于和我们所有的办公环境脱离了，不再可以查看公司系统上的运营数据，不再可以进行添加删除等等一系列操作。如果你最近的工作非常的多，你在有限的正常办公时间内不能完成，那怎么...
Offline Sync - 在离线状态下保持数据同步的解决方案
gitblog_00005的博客
03-18 1167
Offline Sync - 帮助您的应用在离线状态下保持数据同步 是一款强大的 JavaScript 库，旨在帮助开发人员构建支持离线状态的应用程序。它可以帮助您实现跨设备和网络环境的数据同步功能，确保您的用户始终能够访问最新的信息。 什么是 Offline Sync？ Offline Sync 是一个轻量级的 JavaScript 库，用于管理应用程序中的数据同步。它可以跟踪本地更改，并在重新...
使用datax将mysql数据同步到elasticsearch 使用elasticsearchwriter插件
qq_28796037的博客
05-11 2036
文章目录一、DataX介绍二、使用步骤1.datax job2.elasticsearchwriter插件a.下载源码手动编译。b.项目打包只保留需要的模块c.新建plugin.json文件d.将需要的lib包放至libs文件夹下 一、DataX介绍 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种
4、离线数仓数据同步策略（全量表数据同步、增量表数据同步、首日同步、采集通道脚本）
星光不问赶路人，岁月不负有心人
06-30 2066
4、离线数仓数据同步策略（全量表数据同步、增量表数据同步、首日同步、采集通道脚本）
DataX离线数据同步
Yore - Home
08-26 2604
本文主要介绍了常用的数据同步方案和使用的工具或平台，重点介绍了DataX，介绍了DataX的诸多便利之处，以及架构和DataX的调度流程。然后又介绍了DataX的各个数据源之间的离线数据同步，包括ODPS到HDFS、HDFS到HDFS、MongoDB到HDFS，以及CDH版本Impala支持的文件格式和DataX支持的格式差别，最后是MongoDB同步时带密码认证失败时的临时解决方案。最后针对于带有 Kerberos 认证的域外数据同步，讲解了配置及注意点。
DataX实现Mysql与ElasticSearch（ES）数据同步
m0_68681879的博客
09-11 2947
jdk1.8及以上python2。
离线数仓中数据同步
weixin_44870066的博客
09-01 1721
离线数仓中数据同步
利用datax将elasticsearch的数据进行迁移的踩坑记录
ysy2025的博客
07-10 887
datax同步elasticsearch数据到其他目的地的踩坑记录.实用.
提供离线数据编辑和数据同步
cuyi7076的博客
06-28 2508
HTML版本5（HTML5）有望在2014年之前达到万维网联盟（W3C）推荐状态。尽管它不是正式的标准，但网络浏览器供应商正在添加和营销HTML5功能。 HTML5已经在重塑Internet网站和业务线（LOB）应用程序的Web体验。 许多网站，例如Amazon Kindle Cloud Reader，已经在利用HTML5。 HTML5的两个关键功能将极大地改变LOB应用程序：脱机应用程序支持...
离线数仓：数仓数据同步策略
kkddd35的博客
03-08 2748
按照之前规划，该Flume需要将Kafka中topic_log的数据发往HDFS，并且对每天产生的用户行为日志进行区分，将不同天的数据发往HDFS不同天的路径。所以此处选择这些组件是 Apache Flume 中的核心组件，用于构建数据流管道以实现数据的采集、传输和存储。KafkaSource 是 Flume 的源（Source）组件之一，用于从 Apache Kafka 中消费消息数据。
智能门门锁记录的同步方案（离线恢复同步）
Crazy程序猿
11-11 2589
本技术方案的目的在于提供一种可靠、实时、安全的智能门锁的开锁记录管理方案。在设备端和App端用户都能查询到任何时刻的开门记录，从而用户可以了解到家庭成员的回家时间及开门方式。即使设备没有网络的情况下也会存储在本地，待设备联网后，同步到云端，App端也可以通过蓝牙获取数据显示并同步到云端。
数据同步解决方案
浪淘沙
01-21 1056
一、实时同步 1.使用GoldenGate 使用GoldenGate完成MySQL到MySQL的同步 - gegeman - 博客园 2.使用MaxWell GitHub - zendesk/maxwell: Maxwell's daemon, a mysql-to-json kafka producerhttps://github.com/zendesk/maxwell 3.使用canal GitHub - alibaba/canal: 阿里巴巴 MySQL binlog 增量订阅&消
uni-app应用下的弱网无网解决方案：离线缓存与智能数据同步
qq_38937194的博客
11-20 2181
本方案所面向的业务情况是在某些地区（山上、树林）或特定情境下，网络条件可能并不理想，导致数据传输受阻或失败。我们要解决的就是在网络不稳定或中断时，确保用户的数据不会丢失，并能在网络恢复后自动、安全地提交给后端服务器。这不仅提升了用户体验，还确保了数据的完整性和准确性。本方案提供了uni-app应用在面对弱网或无网环境时的一种解决方案，这是针对离线存储数据量小的情况下，提供了离线存储和直接提交两种数据提交方式，以满足不同网络环境下的需求。
使用datax将mysql数据同步到ES 附elasticsearchwriter插件
HiterCoder
01-09 1621
1、使用datax工具将mysql数据库中的数据同步到elasticsearch中。DataX目前已经有了比较全面的插件体系，主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入，目前支持数据如下图： 类型数据源Reader(读)Writer(写)文档 RDBMS 关系型数据库 MySQL √ √ 读 、写 Oracle √ ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

地表最强菜鸡

你的鼓励将是我创作最大的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值