Redis缓存穿透原理与解决方案

本文深入探讨了缓存穿透现象的原因及其对数据库的影响,提出了通过布隆过滤器来有效解决这一问题的策略。文章详细介绍了布隆过滤器的工作原理,包括位数组和随机映射函数的应用,并讨论了其在大数据集上判断元素存在性的高效性。同时,文中也指出了布隆过滤器的局限性,如假阳性问题和不支持删除操作等。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

主要内容
1、为什么会发生缓存穿透?
2、解决缓存穿透的思路
3、布隆过滤器原理与项目实战
4、布隆过滤器的不足与升级

引入Redis的优势
APP -> Redis -> DB

1、减轻数据库压力
2、提升查询的速度
3、避免计算时间

Redis
在这里插入图片描述

情况一

情况二

情况三

要避免持续从数据库查不存在的数据,怎么做?

1、当从数据库取不到值,往redis设置一个该key的空值
2、需给key设置expire(过期时间)

面试题:
如何在海量元素(例如10亿无序、不定长、不重复)快速判断一个元素是否存在?

映射的方法?
1、变成相同长度的输出
2、下标分布均匀

Hash 散列
哈希
MD5
SHA-1

那么?怎么减少哈希碰撞?(哈希碰撞是不可避免的)
1、扩大位图
2、增加Hash函数次数

Bloom Filter
布隆过滤器的本质
1、位数组(二进制向量)
2、一系列随机映射函数

在这里插入图片描述
情况一:
当d在布隆过滤器3次都返回了1,是否能确定d一定【在】容器里?
不能,因为f2(d)、f3(d)是a、c二次运算得到的。(哈希碰撞是不可避免的!)

布隆过滤器的特性
fpp假良性

情况二:
当e在布隆过滤器返回了至少一个0的时候,是否能确定e一定【不在】容器里?
可以,只要存进去了,就一定不会出现0的情况。

总结

怎么实现一个布隆过滤器?
MD5?

问题点
空间:消耗过多的内存
时间:你计算的时间太慢了

Guava,是否了解?(谷歌开源工具包Util)
集合类
字符
限流 RateLimiter
布隆过滤器

国产版本(待了解)

判断某些实际存在的元素
set contains()
拿出来一个实际存在的元素?
list get()
HashMap

测试1万次
100次:询问真实存在的元素
9900次:询问实际不存在的元素

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
存100万个元素,7298440比特 = 0.87M字节
10亿个?

在这里插入图片描述

在这里插入图片描述
修改数据怎么办?

新增数据怎么办?
put
删除数据怎么办?
布隆过滤器不支持删除!
在这里插入图片描述

1000 Thread 同时
Java

在这里插入图片描述
在这里插入图片描述

<think>好的,我现在需要帮助用户了解Redis缓存穿透原理解决方案,并以思维导图形式呈现。首先,我得回顾一下缓存穿透的基本概念相关知识,确保自己理解正确。 用户提到缓存穿透,这可能是指当请求的数据在缓存数据库中都不存在时,大量这样的请求会直接穿透缓存,导致数据库压力过大。需要确认这一点是否正确。根据引用[3]中的内容,Redis作为缓存中间件,存储键值对,数据在内存中,读取更快。而缓存穿透的问题应该是在查询不存在的数据时,绕过缓存直接访问数据库。 接下来,解决方案方面,常见的可能有布隆过滤器、缓存空值等。需要检查引用中提到的内容。引用[2]提到分布式锁设计,可能涉及到解决并发访问的问题,但缓存穿透更直接的解决方案应该是布隆过滤器空值缓存。引用[1]中的思维导图提到了缓存穿透击穿的解决方案,可能需要结合这些内容。 然后,用户要求以思维导图形式呈现,这意味着需要将信息结构化,分层次展示。例如,原理、问题、解决方案等分支。需要确保每个部分清晰,逻辑连贯。 另外,用户可能对每个解决方案的具体实现细节感兴趣,比如如何设置空值的过期时间,布隆过滤器的原理等。但根据问题描述,用户主要需要原理解决方案的概述,所以可能需要简明扼要,不过分深入技术细节。 需要验证引用中的内容是否支持这些解决方案。引用[3]提到了Redis的数据类型,但没有直接提到缓存穿透解决方案,可能需要依赖引用[1][2]。引用[2]中的分布式锁可能用于防止缓存击穿,但缓存穿透的解决可能更多依赖布隆过滤器空对象缓存。 最后,组织语言时需要用中文,按照系统指令要求,行内公式用$...$,独立公式单独成段。但在这个问题中可能涉及较少数学公式,但需要注意格式正确。同时生成相关问题,可能需要包括缓存穿透击穿、雪崩的区别,布隆过滤器的工作原理等。 总结步骤: 1. 解释缓存穿透原理,引用相关引用内容。 2. 列出解决方案,如布隆过滤器、空值缓存、请求校验、限流等,结合引用中的分布式锁或其他方法。 3. 以思维导图的结构呈现,可能用文本形式的分点列表模拟导图结构。 4. 生成相关问题,考虑用户可能进一步想了解的内容。</think>### Redis缓存穿透原理解决方案 #### 一、缓存穿透原理 当恶意请求查询**不存在的数据**时,由于缓存未命中($cache\ miss$),请求会直接穿透数据库。高并发场景下会导致数据库负载激增,甚至崩溃[^1][^3]。 #### 二、核心问题 $$ \text{缓存穿透} = \text{非法请求} + \text{缓存无拦截} + \text{数据库直接访问} $$ #### 三、解决方案 1. **布隆过滤器** - 原理:通过二进制向量存储数据特征,预先拦截非法请求($O(1)$时间复杂度) - 实现:在缓存层前添加过滤器,验证请求合法性 2. **缓存空对象** - 对不存在的数据缓存空值($key:null$),并设置短过期时间(如$ttl=60s$) - 注意需解决**数据一致性**问题[^2] 3. **请求校验** - 对参数格式/范围进行校验(如ID必须为数字且>0) 4. **限流熔断** - 使用Redis计数器限制异常请求频率 - 触发阈值后熔断数据库访问 #### 四、思维导图框架 ```text Redis缓存穿透 ├── 原理 │ ├── 查询不存在数据 │ └── 绕过缓存直连数据库 ├── 问题 │ ├── 数据库压力暴增 │ └── 服务雪崩风险 └── 解决方案 ├── 布隆过滤器(前置拦截) ├── 缓存空值(短期存储) ├── 参数校验(逻辑过滤) └── 限流熔断(系统保护) ``` #### 五、方案对比 | 方案 | 优点 | 缺点 | |---------------|-----------------------|-----------------------| | 布隆过滤器 | 内存占用少,拦截高效 | 存在误判率,需维护数据| | 缓存空值 | 实现简单 | 数据一致性问题 | | 限流熔断 | 系统级保护 | 可能误伤合法请求 | : Redis缓存穿透缓存击穿思维导图中描述了前置过滤器的应用场景 [^2]: 分布式锁设计可辅助解决高并发场景下的雪崩问题 : Redis作为内存数据库的特性决定了其拦截非法请求的核心价值
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值