设定一个场景,假如一个商品接口在某段时间突然上升,会怎么办?
生活中的例子来说,假设冰墩墩在当天晚上上热搜之后,迅速有十几万人去淘宝下单购买,此时并没有做好对该商品的缓存预热以及准备,如何操作?
对于这个问题,在电商高并发系统中,对接口的保护一般采用:缓存、限流、降级 来操作。
假设该接口已经接受过风控的处理,过滤掉一半的机器人脚本请求,剩下都是人为的下单请求。
服务限流
限流 主要的目的是通过对并发访问/请求进行限速,或者对一个时间窗口内的请求进行限速,一旦达到限制速率则可以拒绝服务、排队或等待、降级等处理。
限流算法
1. 漏斗算法
漏桶算法 是当请求到达时直接放入漏桶,如果当前容量已达到上限(限流值),则进行丢弃或其他策略(触发限流策略)。漏桶以固定的速率(根据服务吞吐量)进行释放访问请求(即请求通过),直到漏桶为空。
漏斗算法的思想就是,不管你来多少请求,我的接口消费速度一定是小于等于流出速率的阈值的。
可以基于消息队列来实现。
2. 令牌桶算法
令牌桶算法 是程序以v(v = 时间周期 / 限流值
)的速度向令牌桶中增加令牌,直到令牌桶满,请求到达时向令牌桶请求令牌,如果获取成功则通过请求,如果获取失败触发限流策略。
令牌桶算法和漏斗算法的思想差别在于,前者可以允许突发请求的发生。
3. 滑窗算法
滑窗