Elasticsearch 跨集群数据迁移多种方案总结

近期在搞ES集群的迁移，以及日常ES运维中也涉及到同集群内索引的重命名、迁移等实际场景。就考虑把实际场景模拟一下，侧重不同集群间的数据迁移，对比观察一下目前主流的数据迁移方式的优点和缺点。为之后真实迁移场景提供参考。原生的reindex使用快照第三方：elsaticdump第三方：logstash先上结果吧！

快照是将Elasticsearch数据备份到共享存储（例如NFS共享文件系统）中，然后在新集群上恢复这些数据的方法。这种方式通常是最快、最可靠的迁移方式，但只能恢复到相同或高一级的版本，且不能跨超过一个主版本（例如6.x到7.x可以，但不能直接到8.x）。在本地化部署场景中，NFS（网络文件系统）是常用的共享存储解决方案，适合在企业内部网络环境中跨集群共享快照数据。以下是基于NFS的详细操作步骤。，但只能将数据恢复到相同或高一级的版本，且不能跨超过一个主版本（比如6.x到7.x可以，但不能直接到8.x）。

网上有工具做数据迁移：https://github.com/medcl/esm 可copy mapping ，copy setting等，操作方便 目前发现的问题有： 1.long型超过16位会精度丢失，数据中有此类型数据时要注意

ElasticSearch迁移数据

本文为ES数据迁移方法梳理，方便学习和记录。同时为ES数据迁移方法选择提供参考，本文若有不足之处还请谅解!并评论指正。

ES跨集群数据迁移 一、ES备份主要有以下几种方法，以下以hdfs为例 1、fs 文件挂载 2、url 网络协议存储 (http,https,ftp) 3、s3 亚马逊 4、hdfs 5、azure 微软 6、gcs 谷歌 二、以hdfs方式迁移主要涉及到的概念 1.repository(仓库) es集群中,想要备份数据,必须创建仓库,用来存储快照,一个集群可以创建多个仓库 2.snapshot (快照) 创建仓库后,我们可以创建快照,创建快照时必须指定一个仓库,需要依附某个仓库 某个快照包含多个index

Reindex可用于Elasticsearch跨集群数据迁移，并且不会复制原索引的mapping（映射）、shard（分片）、replicas（副本）等配置信息。"excludes": ["字段1","字段2"] #排除字段。"conflicts": "proceed",#有异常时，继续执行。"index": "test_index_db",#目标索引。"index": "test_index_db",#源索引。"size": 4000, #速度控制。2、在目标集群执行如下命令（kibana执行）

elasticsearch - dump 和 logstash 做跨集群数据迁移时，要求执行迁移任务的机器能同时访问两个集群，所以更适合源和目标 ES 集群在同一网络的情况。而 snapshot 方式是完全离线的，没有这个限制，适合跨云厂商迁移，比如从阿里云 ES 集群迁移到腾讯云 ES 集群，当然也可以打通网络实现互通，但成本较高。elasticsearch - dump 类似 MySQL 的 mysqldump，是逻辑备份，需要一条条导出再导入，适合数据量小的场景；

前言   最近一大段时间，跟ES杠上了，先是从5.x版本迁移到7.3.2，又从7.3.2迁移到7.3.2，真是把我折磨的够呛。在此记录一下相关工作，对其他需要迁移ES的人提供一些经验吧。 一、版本之灾   说起ES的版本，真的是深恶痛绝！恨不得打一顿设计ES代码的人。之前只是简单的学习了一下ES 7.x查询相关的API，并没有深入研究ES，所以对于迁移还是有点懵的。ES集群维护方浪潮提供了跨大版本迁移的示例代码，但是需要迁移两次，即从5.x迁移到6.x，再从6.x迁移到7.x。这简直就是浪费时间，浪费生命啊

迁移方法1，通过代码迁移，优点不需要改动任何集群配置和重启器群： from elasticsearch import Elasticsearch from elasticsearch import helpers def get_all_data(table, query_dsl,scroll='5m',timeout='1m'): es = Elasticsearch([{'host': "IP", 'port': PORT, "http_auth": "user:passwd"}])

方法说明该方法更好的使用在跨版本ES集群迁移中，它允许 ES集群一次升级一个节点，因此在升级期间不会中断服务。不支持在升级持续时间之后在同一集群中运行多个版本的 ES，因为无法将分片从升级的节点复制到运行旧版本的节点。所以在升级前需要对当前使用版本进行备份，以便在升级出现异常时进行回滚。同时在升级过程中优先选择data节点，在data节点升级完成后，在对集群中master节点进行升级。同一主要版本的次要版本之间。

方案对比 方案 elasticsearch-dump reindex snapshot logstash 基本原理 逻辑备份，类似mysqldump将数据一条一条导出后再执行导入 reindex 是 Elasticsearch 提供的一个 API 接口，可以把数据从一个集群迁移到另外一个集群 从源集群通过Snapshot API 创建数据快照，然后在目标集群中进行恢复 从一个集群中读取数据然后写入到另一个集群 网络要求 集群间互导需要网络互通，先导出文件再通过文件导入集群则不需要网络互通

提示：操作es，安装使用ElasticSearchHead。

一、情况说明 将原来Elasticsearch 6.4.2集群的数据迁移至现在的Elasticsearch 7.2.0集群，迁移数据量大小在200G数据左右。 二、迁移方案 （1）使用elasticdump elasticdump是实现不同ElasticSearch集群之间索引迁移的工具，基于npm包安装。 工具地址：https://github.com/taskrabbit/elast...

使用Elaticdump工具快速迁Elasticsearch移数据

使用elasticdump 这是一个nodejs的插件，安装方式直接使用 npm即可 导出索引的格式 #格式：elasticdump --input {protocol}://{host}:{port}/{index} --output ./test_index.json #例子：将ES中的test_index 中的索引导出 #导出当前索引的mapping结构 $ elasticdump --input http://192.168.56.104:9200/test_index --output ./tes