喜马拉雅自研网关架构实践
- 背景 -

- 第一版 Tomcat nio + AsyncServlet -

缓存太多,Tomcat 用了很多对象池技术,内存有限的情况下,流量一高很容易触发gc。 内存 copy,Tomcat 的默认是用堆内存,所以数据需要读到堆内,而我们后端服务是 Netty,有堆外内存,需要通过数次 copy。 Tomcat 还有个问题是读 body 是阻塞的, Tomcat 的 NIO 模型和 reactor 模型不一样,读 body 是 block 的。

获取和释放连接都需要加锁,对应网关这样的代理服务场景,会频繁的建连和关闭连接,势必会影响性能。
- 第二版 Netty + 全异步 -

用户鉴权和登陆校验,支持接口级别配置。 黑白名单,分全局和应用,以及 ip 维度,参数级别。 流量控制,支持自动和手动,自动是对超大流量自动拦截,通过令牌桶算法实现。 智能熔断,在 histrix 的基础上做了改进,支持自动升降级,我们是全部自动的,也支持手动配置立即熔断,就是发现服务异常比例达到阀值,就自动触发熔断。 灰度发布,我对新启动的机器的流量支持类似 tcp 的慢启动机制,给机器一个预热的时间窗口。 统一降级,我们对所有转发失败的请求都会找统一降级的逻辑,只要业务方配了降级规则,都会降级,我们对降级规则是支持到参数级别的,包含请求头里的值,是非常细粒度的,另外我们还会和 varnish 打通,支持 varnish 的优雅降级。 流量调度,支持业务根据筛选规则,对流量筛选到对应的机器,也支持只让筛选的流量访问这台机器,这在查问题/新功能发布验证时非常用,可以先通过小部分流量验证再大面积发布上线。 流量copy,我们支持对线上的原始请求根据规则 copy 一份,写入到 mq 或者其他的 upstream,来做线上跨机房验证和压力测试。 请求日志采样,我们对所有的失败的请求都会采样落盘,提供业务方排查问题支持,也支持业务方根据规则进行个性化采样,我们采样了整个生命周期的数据,包含请求和响应相关的所有数据。

Connection:close 空闲超时,关闭连接 读超时关闭连接 写超时,关闭连接 Fin,Reset

协议解析超时 等待队列超时 建连超时 等待连接超时 写前检查是否超时 写超时 响应超时
攻击性请求,只发头,不发/发部分 body,采样落盘,还原现场,并报警 Line or Head or Body 过大的请求,采样落盘,还原现场,并报警
耗时监控,有慢请求,超时请求,以及 tp99,tp999 等 qps监控和报警 带宽监控和报警,支持对请求和响应的行,头,body单独监控。 响应码监控,特别是 400,和 404 连接监控,我们对接入端的连接,以及和后端服务的连接,后端服务连接上待发送字节大小也都做了监控 失败请求监控 流量抖动报警,这是非常有必要的,流量抖动要么是出了问题,要么就是出问题的前兆。
- 性能优化实践 -

/*** Cleans up if the user forgets to close it.*/protected void finalize() throws IOException {close();}
- 总结 -
来源:https://www.jianshu.com/p/165b1941cdfa
特别推荐一个分享架构+算法的优质内容,还没关注的小伙伴,可以长按关注一下:
长按订阅更多精彩▼
如有收获,点个在看,诚挚感谢


