使用ESM做elasticsearch数据迁移

最新推荐文章于 2024-09-10 22:57:20 发布

lanran_l

最新推荐文章于 2024-09-10 22:57:20 发布

阅读量2.6k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： elasticsearch

本文链接：https://blog.csdn.net/lanran_l/article/details/118495733

本文介绍了如何使用ESM（Elasticsearch Migration）工具进行数据迁移。提供了两种方案，一种是全量迁移，另一种是根据时间范围进行增量迁移。在忘记具体时间的情况下，全量迁移会覆盖已有数据；若记得时间范围，可使用 `-q` 参数指定时间字段过滤数据。示例命令展示了如何进行时间范围内的数据迁移。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

esm github地址。里面有详细介绍。

https://github.com/medcl/esm

由于之前先做了一部分迁移，过了一个星期才正式使用，中间的一星期数据没迁移。此时数据已经开始忘es中写了。

有两种方案。
1、全量再迁移一次。不需要删除。相同的会覆盖掉。
2、记住时间使用 -q 命令过滤某端时间的数据进去。

esm -s http://xxx.xxx.xxx.xxx:9200 -q "time字段:[1624932000000 TO 1625464800000]" -d http://xxx.xxx.xxx.xxx:9200 -n username:password -x 索引 -w=5 -b=10 -c 10000

忘记时间可以使用第一种。记得大概时间使用第二种即可。

我只记得上周二做了迁移具体的时间忘记了。从周二早0点开始，到现在所有的数据全部迁移一遍。重复数据会自动覆盖。

命令：官方文档里有这里再贴一遍

  -s, --source=                    source elasticsearch instance, ie: http://localhost:9200
  -q, --query=                     query against source elasticsearch instance, filter data before migrate, ie: name:medcl
  -d, --dest=                      destination elasticsearch instance, ie: http://localhost:9201
  -m, --source_auth=               basic auth of source elasticsearch instance, ie: user:pass