redis 实现布隆过滤器实现方法:
1、redis 的 setbit 和 getbit
特点:对于某个bit 设置0或1,对于大量的值需要存储,非常节省空间,查询速度极快,但是不能查询整个key所有的bit,在一次请求有大量的值需要过滤的场景会出现多次请求getbit,性能会急剧下降,需要把多个gitbit合并成批次,使用lua脚本或者pipeline执行提高效率。
2、redis 的 BF.RESERVE,BF.MADD和 BF.MEXISTS
特点:redis 4.0 以上官方提供的一个插件,原生Bloom过滤器,参数包括 布隆过滤器的大小,误差率等,支持批量写入和批量查询,性能更优,针对一次大量请求,批量查询接口性能更快。
以上两种布隆过滤器性能测试结果对比:
硬件:单节点 redis,2G内存,2核cpu
测试条件:布隆过滤器容量都是 10000,容错率都是:0.001, 场景:一次请求需要过滤10000个id,每100个批量查询一次redis, 如此循环 10次。
序号 | redis setbit getbit(时延单位:毫秒) | redis BF.RESERVE,BF.MADD和 BF.MEXISTS (时延单位:毫秒) |
---|---|---|
1 | 1556 | 1238 |
2 | 1475 | 1164 |
3 | 1734 | 989 |