目录
Redis持久化
Redis 是内存数据库，如果不将内存中的数据库状态保存到磁盘，那么一旦服务器进程退出，服务器中 的数据库状态也会消失。所以 Redis 提供了持久化功能！
持久化过程保存什么？
1.将当前数据状态进行保存，快照形式，存储数据结果，存储格式简单，关注点在数据 （RDB） 2.将数据的操作过程进行保存,日志形式，存储操作过程，关注点在数据的操作过程（AOF）
RDB方式
概念: 在指定的时间间隔内将内存中的数据集快照写入磁盘， 也就是行话讲的Snapshot快照，它恢复时是将 快照文件直接读到内存里。
RDB手动
save指令
命令 :save
作用 :手动执行一次保存操作
save指令相关配置
dbfilename dump.rdb
说明：设置本地数据库文件名，默认值为dump.rdb
经验：通常设置为 dump-端口号.rdb
dir
说明：设置存储.rdb文件的路径
经验：通常设置成存储空间较大的目录中，目录名称data
rdbcompression yes
说明：设置存储至本地数据库时是否压缩数据，默认为 yes，采用 LZF算法压缩
经验：通常默认为开启状态，如果设置为no，可以节省 CPU 运行时间，但会使存储的文件变大（巨大）
rdbchecksum yes
说明：设置是否进行CRC64算法RDB文件格式校验， 该校验过程在写文件和读文件过程均进行
经验：通常默认为开启状态，如果设置为no，可以节约读写性过程约10%时间消耗，但是存储一定的数据损坏风险
注意：save指令的执行会阻塞当前Redis服务器，直到当前RDB过程完成为止，有可能会造成长时间阻塞，线上环境不建议使用。
bgsave指令
命令 ：bgsave
作用 ：手动启动后台保存操作，但不是立即执行
bgsave指令工作原理
注意： bgsave命令是针对save阻塞问题做的优化。Redis内部所有涉及到RDB操作都采用bgsave的方 式，save命令可以放弃使用。
Fork
Fork的作用是复制一个与当前进程一样的进程。新进程的所有数据（变量、环境变量、程序计数器等） 数值都和原进程一致，但是是一个全新的进程，并作为原进程的子进程
RDB自动
配置 ：save second changes
作用 : 满足限定时间范围内key的变化数量达到指定数量即进行持久化
参数 :
second：监控时间范围
changes：监控key的变化量
位置 : 在conf文件中进行配置
注意： save配置要根据实际业务情况进行设置，频度过高或过低都会出现性能问题，结果可能是灾难性的
save配置中对于second与changes设置通常具有互补对应关系，尽量不要设置成包含性关系
save配置启动后执行的是bgsave操作
RDB优点
- RDB是一个紧凑压缩的二进制文件，存储效率较高
- RDB内部存储的是redis在某个时间点的数据快照，非常适合用于数据备份，全量复制等场景
- RDB恢复数据的速度要比AOF快很多
- RDB节省磁盘空间
RDB缺点
- Fork的时候，内存中的数据被克隆了一份，大致2倍的膨胀性需要考虑
- 虽然Redis在fork时使用了写时拷贝技术,但是如果数据庞大时还是比较消耗性能
- RDB方式无论是执行指令还是利用配置，无法做到实时持久化，具有较大的可能性丢失数据
- Redis的众多版本中未进行RDB文件格式的版本统一，有可能出现各版本服务之间数据格式无法兼容现象
AOF方式
概念: AOF(append only file)持久化：以独立日志的方式记录每次写命令，重启时再重新执行AOF文件中命令达到恢复数据的目的；与RDB相比可以简单描述为改记录数据为记录数据产生的过程AOF的主要作用是解决了数据持久化的实时性，目前已经是Redis持久化的主流方式
AOF执行过程
客户端的请求写命令会被append追加到AOF缓冲区内；
AOF缓冲区根据AOF持久化策略[always,everysec,no]将操作sync同步到磁盘的AOF文件中；
AOF文件大小超过重写策略或手动重写时，会对AOF文件rewrite重写，压缩AOF文件容量；
Redis服务重启时，会重新load加载AOF文件中的写操作达到数据恢复的目的；
AOF写数据三种策略
always(每次） 每次写入操作均同步到AOF文件中，数据零误差，性能较低
everysec（每秒） 每秒将缓冲区中的指令同步到AOF文件中，数据准确性较高，性能较高 在系统突然宕机的情况下丢失1秒内的数据
no（系统控制） 由操作系统控制每次同步到AOF文件的周期，整体过程不可控
AOF相关配置
配置 ：appendonly yes|no
作用 ：是否开启AOF持久化功能，默认为不开启状态
配置 ：appendfsync always|everysec|no
作用 ：AOF写数据策略
配置：appendfilename filename
作用：AOF持久化文件名，默认文件名未appendonly.aof，建议配置为appendonly-端口号.aof
配置：dir
作用 ：AOF持久化文件保存路径，与RDB持久化文件保持一致即可
AOF写数据遇到的问题
AOF重写
随着命令不断写入AOF，文件会越来越大，为了解决这个问题，Redis引入了AOF重写机制压缩文件体积。AOF文件重写是将Redis进程内的数据转化为写命令同步到新AOF文件的过程。简单说就是将对同 一个数据的若干个条命令执行结果转化成最终结果数据对应的指令进行记录。
AOF重写作用
降低磁盘占用量，提高磁盘利用率 提高持久化效率，降低持久化写时间，提高IO性能 降低数据恢复用时，提高数据恢复效率。
AOF重写规则
进程内已超时的数据不再写入文件
忽略无效指令，重写时使用进程内数据直接生成，这样新的AOF文件只保留最终数据的写入命令 如del key1、 hdel key2、srem key3、set key4 111、set key4 222等
对同一数据的多条写命令合并为一条命令 如lpush list1 a、lpush list1 b、 lpush list1 c 可以转化为：lpush list1 a b c。
为防止数据量过大造成客户端缓冲区溢出，对list、set、hash、zset等类型，每条指令最多写入64个元素
AOF和RDB同时开启，系统默认取AOF的数据（数据不会存在丢失）
AOF重写方式
手动重写 bgrewriteaof
自动重写
触发机制，何时重写
Redis会记录上次重写时的AOF大小，默认配置是当AOF文件大小是上次rewrite后大小的一倍且文 件大于64M时触发;重写虽然可以节约大量磁盘空间，减少恢复时间。但是每次重写还是有一定的负担 的,因此设定Redis要满足一定条件才会进行重写。
RDB和AOF对比
总结：
官方推荐两个都启用，如果对数据不敏感，可以选单独用RDB，不建议单独用 AOF，因为可能会出现 Bug
如果只是做纯内存缓存，可以都不用。
Redis 删除策略
数据删除策略的目标
在内存占用与CPU占用之间寻找一种平衡，顾此失彼都会造成整体redis性能的下降，甚至引发服务器宕机或内存泄露。
数据删除策略的分类
1. 基于过期时间的删除策略
2. 基于内存淘汰的删除策略
基于过期时间的删除策略
Redis是一种内存级数据库，所有数据均存放在内存中，内存中的数据可以通过TTL指令获取其状态
XX ：具有时效性的数据
-1 ：永久有效的数据
-2 ：已经过期的数据或被删除的数据或未定义的数据
问：过期的数据真的删除了吗？ 答：不是的
过期数据的删除策略分为： 1. 定时删除 2. 惰性删除 3. 定期删除
定时删除
创建一个定时器，当key设置有过期时间，且过期时间到达时，由定时器任务立即执行对键的删除 操作
优点：节约内存，到时就删除，快速释放掉不必要的内存占用
缺点：CPU压力很大，无论CPU此时负载量多高，均占用CPU，会影响redis服务器响应时间和指 令吞吐量
总结：用处理器性能换取存储空间（拿时间换空间）
惰性删除
数据到达过期时间，不做处理。等下次访问该数据时
如果未过期，返回数据
发现已过期，删除，返回不存在
优点：节约CPU性能，发现必须删除的时候才删除
缺点：内存压力很大，出现长期占用内存的数据
总结：用存储空间换取处理器性能（拿空间换时间）
定期删除
Redis启动服务器初始化时，读取配置server.hz的值，默认为10
每秒钟执行server.hz次serverCron()中的方法---databasesCron()---activeExpireCycle()
activeExpireCycle()对每个expires[*]逐一进行检测，每次执行250ms/server.hz
对某个expires[*]检测时，随机挑选W个key检测
如果key超时，删除key
如果一轮中删除的key的数量>W * 25%，循环该过程
如果一轮中删除的key的数量≤W * 25%，检查下一个expires[*]，0-15循环
W取值=ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP属性值
参数current_db用于记录activeExpireCycle() 进入哪个expires[*] 执行 如果activeExpireCycle()执行时间到期，下次从current_db继续向下执行
周期性轮询redis库中的时效性数据，采用随机抽取的策略，利用过期数据占比的方式控制删除频度
优点1：CPU性能占用设置有峰值，检测频度可自定义设置
优点2：内存压力不是很大，长期占用内存的冷数据会被持续清理
总结：周期性抽查存储空间 （随机抽查，重点抽查）
基于内存淘汰的删除策略(逐出算法)
当新数据进入redis时，如果内存不足怎么办？
Redis使用内存存储数据，在执行每一个命令前，会调用freeMemoryIfNeeded()检测内存是否充 足。如果内存不满足新加入数据的最低存储要求，redis要临时删除一些数据为当前指令清理存储 空间。清理数据的策略称为逐出算法。
影响数据逐出的相关配置
maxmemory最大可使用内存
占用物理内存的比例，默认值为0，表示不限制,生产环境中根据需求设定，通常设置在50%以上。
maxmemory-samples每次选取待删除数据的个数
选取数据时并不会全库扫描，导致严重的性能消耗，降低读写性能。因此采用随机获取数据的方式
maxmemory-policy删除策略
检测易失数据（可能会过期的数据集server.db[i].expires ）
① volatile-lru：挑选最近最少使用的数据淘汰
② volatile-lfu：挑选最近使用次数最少的数据淘汰
③ volatile-ttl：挑选将要过期的数据淘汰
④ volatile-random：任意选择数据淘汰
检测全库数据（所有数据集server.db[i].dict ）
⑤ allkeys-lru：挑选最近最少使用的数据淘汰
⑥ allkeys-lfu：挑选最近使用次数最少的数据淘汰
⑦ allkeys-random：任意选择数据淘汰
放弃数据驱逐
⑧ no-enviction（驱逐）：禁止驱逐数据（redis4.0中默认策略），会引发错误OOM（Out Of Memory）达到最大内存后的，对被挑选出来的数据进行删除的策略
企业级解决方案
缓存预热
缓存预热就是系统启动前，提前将相关的缓存数据直接加载到缓存系统。避免在用户请求的时候，先查询数据库，然后再将数据缓存的问题！用户直接查询事先被预热的缓存数据
解决方案
人工操作或使用脚本程序固定触发数据预热过程（lua脚本）
缓存雪崩
缓存雪崩是指同一时段大量的缓存key同时失效或者Redis服务宕机，导致大量请求到达数据库，带来巨大压力。
解决方案：
给不同的Key的TTL添加随机值
利用Redis集群提高服务的可用性
给缓存业务添加降级限流策略
给业务添加多级缓存
缓存击穿
缓存击穿问题也叫热点Key问题，就是一个被高并发访问并且缓存重建业务较复杂的key突然失效了，无 数的请求访问会在瞬间给数据库带来巨大的冲击。
常见的解决方案有两种：
互斥锁(保证了互斥性，所以数据一致，且实现简单，但有死锁问题的发生，且只能串行执行，性能肯定受到影响)
逻辑过期(线程读取过程中不需要等待，性能好，有一个额外的线程持有锁去进行重构数据，但是在重构数据完成前，其他的线程只能返回之前的数据，且实现起来麻烦)
缓存穿透
缓存穿透是指客户端请求的数据在缓存中和数据库中都不存在，这样缓存永远不会生效，这些请求都会打到数据库。
常见的解决方案有两种：
缓存空对象：优点：实现简单，维护方便 缺点： 额外的内存消耗，可能造成短期的不一致
布隆过滤：优点：内存占用较少，没有多余key 缺点： 实现复杂，存在误判可能
扫一扫
1311
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
