四.Elasticsearch -基于hdfs的快照

最新推荐文章于 2025-03-05 20:25:58 发布
最新推荐文章于 2025-03-05 20:25:58 发布
阅读量700 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： es 文章标签： es快照 es hdfs hdfs快照 elasticsearch  hdfs 快照
转载需注明
本文链接：https://blog.csdn.net/qq_36066039/article/details/102783529
本文介绍了如何在Elasticsearch 7.2版本中使用HDFS进行快照，以实现数据的安全备份和恢复。内容包括快照的兼容性、环境配置、插件安装、在Kibana中的操作步骤，以及跨集群恢复索引快照的方法。

概要：

首先了解什么是快照，所谓的快照就是对es中的数据进行的镜像copy，当es集群因为硬件故障或者是不可恢复的原因，导致重要数据全部丢失，在这种时候我们在某些情况下无法重新索引数据，此时就可以重新配置一个集群，然后用es之前保存的快照进行数据的恢复。

快照版本之间兼容事项：

快照包含组成索引的磁盘上数据结构的副本。这意味着快照只能还原到可以读取索引的Elasticsearch版本：

  • 在6.x中创建的索引快照可以恢复到7.x。
  • 在5.x中创建的索引快照可以恢复到6.x。
  • 在2.x中创建的索引快照可以恢复到5.x。
  • 可以将在1.x中创建的索引快照恢复到2.x。

相反，无法将在1.x中创建的索引快照还原到5.x或6.x，无法将在2.x中创建的索引快照还原到6.x或7.x，并且将快照在5中创建。 x 无法还原到7.x。

每个快照可以包含在各种版本

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Elasticsearch快照部署到Hadoop-HDFS
weixin_42862818的博客
09-29 748
es支持快照，其远程仓库可以部署在本地共享文件系统下，也可部署异地其他文件系统，比如今天要讲的Hadoop-hdfs上，增进尝试部署在本地文件目录下，首先要部署共享文件系统、还要解决每个节点上用户和用户组的UUID不一致的问题，在生产环境下ES少则5个几点，多则上百个节点，其工作量、复杂度以及后期维护还是相当麻烦的，相对而言，将远程仓库部署到hdfs上、工作量、可维护性以及复杂度，还是优势多多。
Elasticsearch 可搜索快照技术原理及最 佳实践
cloudbigdata的博客
12-29 1062
Elasticsearch 可搜索快照的技术原理
ElasticSearch 映射到 hdfs的快照
chixuegui9567的博客
05-31 249
一、下载： https://artifacts.elastic.co/downloads/elasticsearch-plugins/repository-hdfs/repository-hdfs-5.4.0.zip 二、安装 ./bin/elasticsearch-plugin ins...
ES备份数据-快照模式-并恢复---HDFS篇---推荐好用
cz124560的博客
06-03 1076
我这边采用快照的模式进行备份数据 备份源的es 版本要等于低于恢复elasticsearch集群的版本； 先看下： Hadoop HDFS Repository Plugin：https://www.elastic.co/guide/en/elasticsearch/plugins/7.16/repository-hdfs.html 要注意自己版本哈 我的是7.16 ES集群快照存在版本兼容性问题：https://www.elastic.co/guide/en/elasticsearch/referen
ES HDFS快照手册
Big-Brian的博客
04-01 2333
关于ES使用HDFS来做快照备份安装 ES使用HDFS来做快照需要在所有节点单独安装插件，然后重启所有节点。 sudo bin/elasticsearch-plugin install repository-hdfs该插件通知支持离线安装，下载地址[HDFS快照离线安装](https://artifacts.elastic.co/downloads/elasticsearch-plugins/rep
【Elasticsearch】Elasticsearch 中使用 HDFS 存储快照
risc123456的博客
03-05 513
是的，Elasticsearch 在恢复快照时，会覆盖目标索引中的现有数据。恢复快照的目的是将目标索引恢复到快照所记录的状态，因此它会替换掉目标索引中的现有数据。这个操作会将快照中的`my_index`索引恢复为`my_index_restored`，而不会覆盖现有的`my_index`。这会将快照中的`my_index`索引恢复为`my_index_restored`，从而避免覆盖现有的`my_index`。• 如果目标索引已经存在，恢复操作会删除目标索引中的所有数据，并用快照中的数据替换。
elasticsearch-admin：Elasticsearch的Web管理：集群，节点，索引，分片，索引模板，存储库，快照..
02-06
**Elasticsearch-admin** 是一个基于Web的管理工具，专为Elasticsearch集群提供便捷的管理界面。这个工具使得管理员可以高效地监控和操作Elasticsearch的各个方面，包括但不限于集群状态、节点信息、索引管理和分片...
ElasticSearch备份快照到HDFS-2.6(CDH5.6.0)
洽洽老大的专栏
05-21 6548
由于业务需要将ES-2.2.1版本升级到ES-2.3.2版本，需要将index迁移过去，查了很多资料，最后决定用es的快照/恢复模块来实现，把快照保存到hdfs-2.6上
Elasticsearch的快照
那些年匆匆
06-24 2188
snapshot是一个ES集群或者某个指定索引的备份，快照一般用在
Elasticsearch 可搜索快照
Elastic开源社区
06-21 479
可搜索快照可以让快照以非常经济高效的方式搜索不常访问的只读数据。Cold tier 和 frozen tier 使用可搜索的 快照来降低存储和运营成本。可搜索的快照不需要分片副本，理想情况下，可为数据存储节省一半所需的本地存储空间。可搜索快照依赖于已用于备份的相同快照机制，并且对快照存储库存储成本的影响最小。可搜索快照非常适合管理大量历史数据存档。历史信息的搜索频率通常低于最近的数据，因此可能不需要副本来获得性能优势。对于更复杂或更耗时的搜索，可以结合异步搜索一起使用。 3 工作原理 如果持有其中一个分片的
干货 | Elasticsearch 可搜索快照深入详解
铭毅天下Elasticsearch
08-01 3226
0、可搜索快照认知前提Elasticsearch 可搜索快照是 7.10 版本才有的新功能，之前呼声非常高。Elastic 官方网站用一整页面介绍，可见对该功能的重视。https://ww...
Elasticsearch快照和备份
aa1bb1cc2的专栏
09-06 818
Elasticsearch快照和备份 在过去的一年中，我们看到许多公司对Elasticsearch的采用率大幅提升。随着越来越多的公司将Elasticsearch作为其业务不可或缺的一部分，Elasticsearch的高可用性变得越来越重要。借助自动复制和故障转移，Elasticsearch提供稳定，高度可用的搜索和分析平台。但是，虽然复制可以保护群集免受硬件故障的影响，但是当有人意外删除索引时...
Elasticsearch在Hdfs上build的实现及优化
weixin_33851177的博客
11-29 516
引言 前段时间参与Elasticsearch离线平台化项目，主要是做一套Elasticsearch的buildservice, 一方面通过bahamut的数据流定义能力，直接对接用户原始数据，实现全增量一体化，解决用户准备数据的痛点。另一方面，社区的elasticsearch并没有全量增量的概念，所有数据都是用户通过sdk一条一条发给es在线服务构建索引...
详述 Elasticsearch 安装 HDFS 插件存储快照及还原的方法
CG国斌的博客
05-01 3105
详述 Elasticsearch 配置 HDFS 插件存储及还原快照的方法 详述 Elasticsearch 配置 HDFS 插件存储及还原快照的方法 详述 Elasticsearch 配置 HDFS 插件存储及还原快照的方法 ...
9、Elasticsearch7.6.1 ES与HDFS相互转存数据-ES-Hadoop
热门推荐
alanchanchn的专栏
06-30 7万+
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。本文介绍如何通过ES-Hadoop实现Hadoop的Hive服务读写Elasticsearch数据。Hadoop生态的优势是处理大规模数据集，但是其缺点也很明显，就是当用于交互式分析时，查询时延会比较长。
将Elasticsearch的快照备份到HDFS
weixin_34233679的博客
03-21 214
1、安装Elasticsearch插件repository-hdfs 下载地址：https://artifacts.elastic.co/downloads/elasticsearch-plugins/repository-hdfs/repository-hdfs-6.2.3.zip 将zip包放在/usr/local下 注意插件版本需要和Elasticsearch的版本对应。如果版本不匹配...
ElasticSearch系列 创建快照并通过快照恢复数据
一个标题
03-18 1252
ElasticSearch系列 创建快照并通过快照恢复数据
ES基于Snapshot（快照）的数据备份和还原
Elastic开源社区
06-21 4769
快照是从正在运行的 Elasticsearch 集群中获取的备份。可以针对整个集群拍摄快照，也可以针对整个集群的数据流和索引。也可以仅对集群中的特定数据流或索引进行快照。备份集群的唯一可靠且受支持的方法是拍摄快照。不可通过复制其节点的数据目录来备份 Elasticsearch 集群。不支持从文件系统级备份中恢复任何数据的方法。如果您尝试从此类备份中恢复集群，它可能会因报告损坏或丢失文件或其他数据不一致而失败，或者它可能似乎已经成功地默默地丢失了一些数据。集群节点的数据目录副本不能用作备份，因为它不是其内容在
elasticsearch 快照介绍
goodluck_mh的博客
05-02 2602
快照用于保存运行着的elasticsearch 集群中运行的数据，可以将一个或多个 index 保存到 repository(仓库中)，同一个 repo 的不同快照之间的数据是增量添加的，也就是说snap_1 ,之后再创建 snap_2 ,那么snap_2 只保存 snap_1 和 snap_2 之间的增量数据。因此可以比较高效的保存数据了。 保存起来的 snapshot 通过 restore ...
Elasticsearch备份数据到kerberos 的hdfs
最新发布
03-29
为了让 Elasticsearch 支持存储快照到 HDFS 上，必须先安装官方提供的 HDFS 存储插件。对于不同版本的 Elasticsearch 和 HDFS，请选择匹配的插件版本[^3]。 执行命令如下： ```bash bin/elasticsearch-plugin ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我先森

鼓励一个吧，哈哈

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值