redis的备份原理

最新推荐文章于 2025-02-22 14:06:35 发布
最新推荐文章于 2025-02-22 14:06:35 发布 · 1.4k 阅读 · 25
文章标签：

#redis #java #数据库

1 Redis持久化之RDB

1RDB是什么

在指定的时间间隔内将内存中的数据集快照写入磁盘， 也就是行话讲的Snapshot快照，它恢复时是将快照文件直接读到内存里

2备份是如何执行的

Redis会单独创建（fork）一个子进程来进行持久化，会先将数据写入到 一个临时文件中，待持久化过程都结束了，再用这个临时文件替换上次持久化好的文件。 整个过程中，主进程是不进行任何IO操作的，这就确保了极高的性能 如果需要进行大规模数据的恢复，且对于数据恢复的完整性不是非常敏感，那RDB方式要比AOF方式更加的高效。RDB的缺点是最后一次持久化后的数据可能丢失。

3Fork

Fork的作用是复制一个与当前进程一样的进程。新进程的所有数据（变量、环境变量、程序计数器等） 数值都和原进程一致，但是是一个全新的进程，并作为原进程的子进程

在Linux程序中，fork()会产生一个和父进程完全相同的子进程，但子进程在此后多会exec系统调用，出于效率考虑，Linux中引入了“写时复制技术”

4 RDB持久化流程

5 dump.rdb文件

在redis.conf中配置文件名称，默认为dump.rdb

文件在哪里启动这个文件就在哪里

6配置位置

rdb文件的保存路径，也可以修改。默认为Redis启动时命令行所在的目录下

redis.conf：

dir "/myredis/"

7 如何触发RDB快照；保持策略

1配置文件中默认的快照配置时间间隔

2命令save bgsave

save ：save时只管保存，其它不管，全部阻塞。手动保存。不建议。

bgsave：Redis会在后台异步进行快照操作，快照同时还可以响应客户端请求。

可以通过lastsave 命令获取最后一次成功执行快照的时间

3 SNAPSHOTTING快照

4 Save

格式：save 秒 写操作次数

RDB是整个内存的压缩过的Snapshot，RDB的数据结构，可以配置复合的快照触发条件，

默认是1分钟内改了1万次，或5分钟内改了10次，或15分钟内改了1次。

禁用

不设置save指令，或者给save传入空字符串

5 stop-writes-on-bgsave-error

当Redis无法写入磁盘的话(磁盘已满)，直接关掉Redis的写操作。推荐yes.

6  rdbcompression 压缩文件

对于存储到磁盘中的快照，可以设置是否进行压缩存储。如果是的话，redis会进行压缩。

如果你不想消耗CPU来进行压缩的话，可以设置为关闭此功能。推荐yes.

7 rdbchecksum 检查数据的完整性

在存储快照后，还可以让redis来进行数据校验，如果数据已经损坏就不需要再进行持久化的操作，这样做会增加大约10%的性能消耗，如果希望获取到最大的性能提升，可以关闭此功能

推荐yes.

8 rdb的备份

先查询rdb文件的目录

将*.rdb的文件拷贝到别的地方

rdb的恢复

关闭Redis

先把备份的文件拷贝到工作目录下 cp dump2.rdb dump.rdb

启动Redis, 备份数据会直接加载

9优势

适合大规模的数据恢复

对数据完整性和一致性要求不高更适合使用

节省磁盘空间

恢复速度快

10  劣势

Fork的时候，内存中的数据被克隆了一份，大致2倍的膨胀性需要考虑

虽然Redis在fork时使用了写时拷贝技术,但是如果数据庞大时还是比较消耗性能。

在备份周期在一定间隔时间做一次备份，所以如果Redis意外down掉的话，就会丢失最后一次快照后的所有修改。

2 Redis持久化之AOF

AOF（Append Only File）

1 AOF是什么

以日志的形式来记录每个写操作（增量保存），将Redis执行过的所有写指令记录下来(读操作不记录)， 只许追加文件但不可以改写文件，redis启动之初会读取该文件重新构建数据，换言之，redis 重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作

2 AOF持久化流程

（1）客户端的请求写命令会被append追加到AOF缓冲区内；

（2） AOF缓冲区根据AOF持久化策略[always,everysec,no]将操作sync同步到磁盘的AOF文件中；

（3）AOF文件大小超过重写策略或手动重写时，会对AOF文件rewrite重写，压缩AOF文件容量；

（4）Redis服务重启时，会重新load加载AOF文件中的写操作达到数据恢复的目的；

 3 AOF默认不开启

可以在redis.conf中配置文件名称，默认为 appendonly.aof

AOF文件的保存路径，同RDB的路径一致。

4 AOF和RDB同时开启，redis听谁的？

AOF和RDB同时开启，系统默认取AOF的数据（数据不会存在丢失）

5  AOF启动/修复/恢复

AOF的备份机制和性能虽然和RDB不同, 但是备份和恢复的操作同RDB一样，都是拷贝备份文件，需要恢复时再拷贝到Redis工作目录下，启动系统即加载。

正常恢复

修改默认的appendonly no，改为yes

将有数据的aof文件复制一份保存到对应目录

恢复：重启redis然后重新加载

异常恢复

修改默认的appendonly no，改为yes

如遇到AOF文件损坏，通过

/usr/redis/bin/redis-check-aof --fix 文件的位置/appendonly.aof进行恢复

备份被写坏的AOF文件

恢复：重启redis，然后重新加载

6 AOF同步频率设置

appendfsync always

始终同步，每次Redis的写入都会立刻记入日志；性能较差但数据完整性比较好

appendfsync everysec

每秒同步，每秒记入日志一次，如果宕机，本秒的数据可能丢失。

appendfsync no

redis不主动进行同步，把同步时机交给操作系统。

3主从复制

主从复制（Master-Slave Replication）是一种Redis数据库的高可用性方案，它可以通过将数据从一个主节点复制到多个从节点来实现数据的冗余备份和读请求负载均衡。在主从复制中，主节点负责写入数据，从节点则负责读取数据。当主节点出现故障时，其中一个从节点会被晋升为新的主节点，保证了系统的高可用性。

主从复制的主要优势包括：

  1. 数据备份：主从复制可以将主节点的数据复制到多个从节点，从而实现数据的冗余备份。当主节点出现故障时，系统可以快速地切换到某个从节点上，保证数据的可用性。
  2. 读请求负载均衡：多个从节点可以同时处理读请求，从而降低主节点的负载压力，提高系统的并发处理能力。
  3. 可扩展性：通过添加更多的从节点，可以实现系统的横向扩展。从而提高系统的性能和容量。

主从复制的基本原理是：主节点将自己的数据变更操作记录到内存中的AOF文件或者RDB文件中，并将这些操作同步到所有从节点。从节点在接收到主节点的数据变更操作后，将其应用到自己的数据上，从而保持和主节点的数据同步。在主从复制中，主节点为单点写入，从节点为多点读取，从节点只能根据主节点提供的数据进行同步，不能对数据进行任何修改操作。

一主二仆

主：端口号6380

从：6381 6382

1创建文件

在/usr/myredis文件里创建redis6380.conf、redis6381.conf、redis6382.conf三个文件

文件内容：

# 使用 include 命令将其他配置文件包含进来
# 这里包含了 Redis 安装目录下的 redis.conf 文件
include /usr/pan/redis/redis-5.0.14/redis.conf

# 监听的端口号
port 6380

# 是否以守护进程方式运行
daemonize yes

# 指定持久化数据存储目录
dir /usr/myredis

# RDB 文件名
dbfilename dump6380.rdb

# 进程 ID 文件路径
pidfile /var/run/redis_6379.pid

# 绑定的 IP 地址
bind 0.0.0.0

# 是否启用保护模式，这里设置为不启用
protected-mode no

用find / -name redis .conf找到redis.conf文件位置

用%s/6380/6381/g、%s/6380/6382/g命令更改各自端口号

2启动6380 6381 6382 端口号的redis

/usr/loacl/bin/redis-server /usr/myredis/redis6380.conf

/usr/loacl/bin/redis-server /usr/myredis/redis6381.conf

/usr/loacl/bin/redis-server /usr/myredis/redis6382.conf

3 通过客户端连接redis

-p 代表的是端口号

/usr/local/bin/redis-cli -p 端口号

4配置主和从

主不进行任何操作

从设置一下自己对应的主

命令: slaveof ip port

81里面

82里面

5用 info replication获取 Redis 主从复制相关的信息

6380：

6381、6382：

6反客为主

当一个master宕机后，后面的slave可以立刻升为master，其后面的slave不用做任何修改。

用 slaveof no one 将从机变为主机。

手动版

4哨兵模式(sentinel)

反客为主的自动版，能够后台监控主机是否故障，如果故障了根据投票数自动将从库转换为主库

调整为一主二仆模式，6380带着6381、6382

在/usr/myredis目录下新建sentinel.conf文件

80

1配置哨兵,填写内容

sentinel monitor mymaster 192.168.153.77 6380 1

其中mymaster为监控对象起的服务器名称， 1 为至少有多少个哨兵同意迁移的数量。

2启动哨兵

/usr/java/redis/bin

执行redis-sentinel /usr/java/myredis/sentinel.conf

关闭6380之前

关闭6380之后

3当主机挂掉，从机选举中产生新的主机

(大概10秒左右可以看到哨兵窗口日志，切换了新的主机)

哪个从机会被选举为主机呢？根据优先级别：replica-priority

原主机重启后会变为从机。

CSDNlele666
关注
第六阶段【Redis：Redis基础】17：Redis备份
weixin_40612128的博客
03-19 64
Redis备份
Redis基本原理了解
swimming_in_IT_的博客
03-14 1139
Redis事务，Redis持久化，RedisCluster基本理解
Redis数据备份与恢复
IT老兵
11-07 804
Redis提供了两种持久化选项，分别是RDB和AOF。 默认情况下60秒刷新到disk一次[save 60 10000 当有1w条keys数据被改变时]，Redis的数据集保存在叫dump.rdb一个二进制文件，这种策略被称为快照。 也可以手动调用Save或BGSAVE命令的： [code="python"]/usr/local/bin/redis-cli -h 127.0.0....
Redis之备份机制（一）
慢一拍的coder
08-31 1499
目录 1：写在前面 2：两种备份机制 2.1：RDB（redis-database） 2.2：AOF（append-only-file） 3：总结 1：写在前面 Redis是一种NOSQL数据库，和 memecache最大的区别是Redis是可以持久化的，那么是怎么持久化的呢，以及持久化的策略。 2：两种备份机制 2.1：RDB（redis-database） 1：当服务...
简述Redis备份策略以及对应的实现机制
沛哥儿的专栏
12-28 1873
在选择Redis的备份策略时，需要根据实际业务需求和系统资源进行权衡。定期备份适用于数据量较小的情况，实时备份适用于对数据完整性要求高的场景，增量备份和全量备份适用于大数据量和高恢复速度的要求。在实现备份时，可以选择RDB、AOF或第三方工具进行操作，确保数据的安全性和完整性。
redis数据备份与恢复机制
wuzhan的专栏
11-12 312
redis 两种持久化方式以及数据备份与恢复方案
Redis：原理、概念、用法与实例解析
zj的博客
06-11 1889
在当今风起云涌的技术领域中，Redis 犹如一颗璀璨的明星，闪耀着独特的光芒。它作为一种备受瞩目的数据存储和缓存解决方案，以其卓越的性能、丰富多样的功能以及简单易用的特性，成为了众多开发者的心头好。在这篇博客中，我们将全方位、深层次地探讨 Redis 的基本原理、关键概念、实用用法，并通过具体生动的例子来进一步加深我们对它的理解。
redis底层原理基础面试题
筱2402的博客
04-24 1370
redis底层原理基础面试题 前言：由于正在准备之后的实习面试，故总结了一部分redis底层原理的问题，回答全为自己组织的语言，若有错各位大佬可及时指出，大家共同进步，谢谢。 1.Redis的各个数据结构及使用场景 redis中自主实现的数据结构主要有字符串、链表、字典、跳表、整数集合、压缩列表。 字符串作为最基本的数据结构类型，对于简单字符数组在安全性、效率及功能方面有所提升。底层结构中包含free\len\buf字段，分别表示是否还能分配使用空间、字符长度、底层数组指针。由于包含len字段，首先可以以O
Redis源码阅读 （备份机制）
alpha_love的博客
06-04 348
5. 备份机制 Redis是内存数据库，支持两种方式——snapshot和aof，将数据从内存dump到磁盘。 snapshot是快照式备份，每次将Redis全库dump到磁盘， aof是流水式备份，每次将Redis数据库的修改日志dump到磁盘，并定期整理日志。 5.1. Snapshot Redis支持Snapshot（快照）式备份。 Redis可以自动检测备份时机，设置每N秒检查，若发生M次以上数据更新操作，则开始Snapshot备份，也可以由客户端发送save或bgsave命令手动启动备份。s
Redis的持久化机制
秦霜博客
01-31 351
1 RDB和AOF两种持久化机制的介绍 RDB持久化就是对redis中的数据执行周期性的数据快照备份，这个周期可以自己配置。 AOF持久化机制对每条写入命令都以append-only的模式写入一个日志文件中，在redis重启的时候，可以通过回放AOF日志中的写入指令来重新构建整个数据集，append-only可以配置异步或同步。 如果我们想要redis仅仅作为纯内存的缓存来用，那么可以禁止RD...
Redis 的备份机制
jay丿的博客
02-22 622
Redis 是一个高性能的基于内存的键值存储数据库，虽然所有操作都在内存中完成，但 Redis 也提供了持久化机制来确保数据的可靠性和可恢复性。RDB 是 Redis 的快照持久化机制，它会生成数据库在某个时间点的快照，并将这个快照以二进制文件的形式保存到磁盘上。这个快照文件包含了在持久化时数据库中的所有键值对。AOF 是 Redis 的另一种持久化机制，它会记录每个写命令（如 SET、DEL 等）到日志文件中。在 Redis 重启时，需要重放 AOF 文件中的所有命令，这可能会导致启动时间变长。
redis的备份
幸福在路上
09-30 1616
redis的备份功能使用非常简单。配置一个主从式备份机制使得redis的从服务器与主服务器完全一样。以下是对redis备份非常重要的描述。 redis使用异步备份。从2.8版本开始，从站会周期性地从备份流中接收一定量的数据。 主站可以有多个从站。 从站能够接收来自其它从站的连接请求。除了连接多个从站到同一个主站，从站还可以连接到其它从站，形成一个图状结构。 redis备份在主站端是非阻塞的。这就意
redis数据备份原理和定时冷备份脚本
qq_38014033的博客
07-08 1181
文件目录： |- /etc |- /redis # 存放配置文件，按端口名命名 |- 7001.conf |- /redis-cluster # 存放 redis 集群维护的配置文件目录 |- /init.d |-/redis_7001 # 启动脚本 |- /var |-/log/redis # 存放日志文件 |-/7001.log # 日志文件 |-/redis/7001 # 存放数据文件 综合使用 AOF 和 RDB 两种持久化机制： ...
redis备份方式
标准都是留给不爱的人，爱的本质是自由意志的沉沦
07-17 2769
AOF 文件记录了 Redis 数据库的所有写操作，使用 AOF 方式可以实现数据的持久化和恢复。在实际应用中，可以根据数据重要性、恢复速度、磁盘空间和性能的需求来选择合适的备份方式，或者采取同时使用 RDB 和 AOF 备份的策略，以兼顾性能和数据保护。最好的做法是定期测试和验证备份的完整性和可靠性，确保备份机制符合实际需求和系统运行环境的要求。Redis 可以通过定期触发 RDB 持久化来生成备份文件。RDB 备份是将 Redis 内存中的数据以快照的形式写入磁盘文件，文件以 .rdb 扩展名保存。
redis详解之数据备份与恢复
热门推荐
原名：@程序员大禹
06-28 2万+
Redis所有数据都是保存在内存中，Redis数据备份可以定期的通过异步方式保存到磁盘上，该方式称为半持久化模式，如果每一次数据变化都写入aof文件里面，则称为全持久化模式。本章节通过配置文件，触发快照的方式，恢复数据的操作，优缺点来学习 Redis 的重点知识——数据备份与恢复。1、方式一：半持久化RDB模式（Redis DataBase）【redis备份默认方式】通过快照完成，由用户在redis.conf配置文件中设置两个参数：时间和改动的键的个数。当在指定的时间内被更改的键的个数大于指定的数值时，re
Redis备份方式：快照备份和AOF备份
TinaCSDN的博客
07-10 942
Redis是一种高性能的开源内存数据库，为了确保数据的安全性和可靠性，提供了多种备份和持久化机制。本文将介绍Redis的两种常见备份方式：快照备份和AOF备份，并讨论如何同时使用它们以增加数据的保护。
【Redis】Redis的持久化（备份）
Mr_VK的博客
08-16 1048
Redis的数据全部在内存里，如果突然宕机，数据就会全部丢失，因此必须有一种机制来保证Redis的数据不会因为故障而丢失，这种机制就是Redis的持久化机制。
liunx 升级redis 备份
最新发布
06-26
<think>我们正在讨论在Linux系统中升级Redis时进行数据备份的方法。根据引用资料，我们可以总结出以下步骤：1.**获取当前Redis的数据备份路径**：首先需要知道Redis当前将数据备份到哪个目录。可以通过Redis客户端命令获取：```bash./redis-cli-h127.0.0.1-p6379```然后执行：```CONFIGGETdir```这将返回当前Redis的数据目录（即`dump.rdb`文件所在的目录）[^2]。2.**创建数据备份**：在获取备份路径后，可以手动复制`dump.rdb`文件（Redis的默认持久化文件）到安全位置。例如：```bashcp/path/to/redis/dump.rdb/path/to/backup/dump.rdb.backup```这里`/path/to/redis`就是上一步通过`CONFIGGETdir`得到的路径[^2][^5]。3.**关闭旧版Redis服务**：在备份完成后，停止旧版Redis服务以避免数据写入：```bashsystemctlstopredis#根据你的服务名可能是redis-server或其他```4.**安装新版Redis**：按照官方文档编译安装新版Redis，或者使用包管理器安装。5.**迁移备份数据到新版Redis**：-将备份的`dump.rdb`文件复制到新版Redis的数据目录（同样通过新版Redis的配置文件或`CONFIGGETdir`获取路径）。-注意：新版Redis的数据目录可能和旧版不同，需要根据新版配置确定。-复制命令示例：```bashcp/path/to/backup/dump.rdb.backup/new/redis/data/dir/dump.rdb```-确保文件权限正确（通常需要Redis用户有读写权限）[^5]。6.**启动新版Redis服务**：```bashsystemctlstartredis```**重要提示**：-如果旧版Redis使用了AOF（AppendOnlyFile）持久化，除了备份RDB文件（`dump.rdb`），还应备份AOF文件（`appendonly.aof`）[^4]。-在升级前，建议同时备份Redis配置文件（`redis.conf`）[^1]。-验证备份数据的完整性，可以在测试环境恢复数据进行检查。通过以上步骤，可以在升级Redis时确保数据安全迁移。§§相关问题§§1.如何检查Redis持久化方式（RDB或AOF）？2.升级Redis后如何验证数据完整性？3.Redis主从复制环境下如何升级？</think>### Linux 升级 Redis 数据备份方法 在 Linux 系统升级 Redis 时，数据备份是确保数据安全的关键步骤。以下是完整操作流程： #### 一、备份前准备 1. **确认当前 Redis 信息** ```bash redis-cli -h 127.0.0.1 -p 6379 AUTH <password> # 若启用密码验证 INFO | grep version # 查看当前版本[^3] CONFIG GET dir # 获取数据存储路径[^2] ``` 2. **选择备份方式** - **RDB 备份**（默认）：二进制快照文件 `dump.rdb`，体积小恢复快[^4] - **AOF 备份**：日志文件 `appendonly.aof`，记录所有写操作 #### 二、执行数据备份 ```bash # 1. 创建备份目录 mkdir ~/redis_backup_$(date +%F) # 2. 定位数据文件（根据CONFIG GET dir结果） cd /var/lib/redis # 示例路径 # 3. 备份核心文件 cp -p dump.rdb ~/redis_backup_ # RDB备份[^1] cp -p appendonly.aof ~/redis_backup_ # AOF备份（若启用） # 4. 备份配置文件 cp -p /etc/redis/redis.conf ~/redis_backup_[^1] ``` #### 三、升级后数据迁移 ```bash # 1. 停止旧版Redis systemctl stop redis # 2. 安装新版Redis（编译或包管理安装） # 3. 迁移备份数据到新版 cp -p ~/redis_backup/dump.rdb /new/redis/data/path/[^5] cp -p ~/redis_backup/redis.conf /new/redis/config/path/ # 4. 设置文件权限 chown redis:redis /new/redis/data/path/dump.rdb # 5. 启动新版Redis systemctl start redis ``` #### 四、验证备份完整性 ```bash redis-cli > AUTH <password> > DBSIZE # 检查键数量是否匹配 > GET <test_key> # 抽样验证数据 ``` **关键注意事项**： 1. 备份前确保 `SAVE` 或 `BGSAVE` 完成，避免数据不一致[^4] 2. RDB 备份期间 Redis 会阻塞（毫秒级），建议业务低峰期操作 3. 升级后检查 `maxmemory` 等配置兼容性 4. 对于集群环境，需逐节点执行备份迁移 > **备份原理**：RDB 通过 fork 子进程生成内存快照，二进制压缩存储，恢复时直接加载到内存。AOF 则记录每个写命令，重启时重新执行[^4]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值