饿了么API-Gateway架构演进.pdf

### 饿了么API-Gateway架构演进 #### 1. 背景 在2016年5月17日的饿货节期间，饿了么达到了每秒1.5万笔订单的峰值，这一巨大流量导致系统入口在活动开始后的前几秒就被打爆，不得不采取限流措施。由此产生了几个问题：如何保护服务应对千万级的日订单、如何解决故障难以定位和快速恢复、如何实现API级别的细粒度路由以及如何管理大量Nginx实例。 为了解决上述问题，需要保护后端服务和自身，快速定位问题，并进行全链路监控。此外，路由配置文件的管理和业务需求的实现也是挑战，比如开发和维护Lua脚本或C模块的门槛较高，以及Nginx修改后的更新忘记撤销的问题。 #### 2. 架构设计 架构设计的目标是通过引入Gateway提升网站稳定性。Gateway的实现涉及多个Filter： - 限流Filter（RateLimiter）：控制访问频率，防止系统过载。 - 熔断Filter（滑动窗口计数）：在检测到服务异常时，防止故障蔓延。 - 跨域Filter：处理跨域请求问题。 - 缓存Filter：提高数据处理效率，减少对后端服务的请求。 - 反爬虫Filter：防止爬虫恶意抓取数据。 - 用户画像Filter：根据用户特征进行请求过滤或路由。 - 异地多活路由Filter：提高服务可用性和灾备能力。 Filter机制包括控制台统一管理、灰度下发、动态编译和热插拔以及before/pre/post分类Filter流程。 API-Gateway支持多种协议，包括http、https、http2、WebSocket和TCP，并实现动态路由和服务发现。 #### 3. 运维 在运维方面，API-Gateway集群需要进行灰度下发Filter、灰度下发路由、下发限流信息以及灰度重启机器。 #### 4. 未来 对于API-Gateway的未来，需要关注： - 时效性：系统需要在30分钟内响应业务需求变化。 - 集中性：业务活动集中在上午10点、下午4点以及晚上特定时段。 #### 控制台监控 监控方面，需要关注信号量大小、内存、CPU以及流量，并依赖外部基础服务指标，包括： - 耗时类指标：如Gateway处理耗时、Filter处理耗时。 - 次数类指标：如QPS、客户端连接断开次数、服务端连接断开次数以及http状态码（200和非200）。 #### 总结 饿了么API-Gateway架构演进展现了为应对高并发场景和保证服务稳定性的持续努力。通过引入API-Gateway，饿了么能够更高效地进行流量控制、路由管理和服务监控，从而提升用户体验和系统可靠性。架构的演进不仅是技术层面的优化，还包括了运维策略、故障诊断以及性能监控等多方面的改进。在未来，API-Gateway还需要处理好时效性和业务活动集中带来的挑战，持续优化以适应不断变化的业务需求。