云原生时代消息中间件的演进路线
引言
本文以一张云进化历史图开场,来谈谈云原生时代消息中间件的演进路线,但本文绝对不是“开局一张图,内容全靠编”。

云原生消息服务
什么是云原生

采取 DevOps 领域的最佳实践来管理研发和运维流程。 通过 CICD 工具链做到应用的快速迭代和持续交付。 采取微服务架构。 采取容器及相关技术进行应用的托管。
什么是云原生消息服务

云原生消息服务演进方向

云原生消息三化
谈到云原生,离不开 Kubernetes、Serverless 以及 Service Mesh ,接下来为大家分享下我们如何利用 K8s 社区的生态红利,如何实践 Serverless 和 Service Mesh 技术理念。
云原生消息 Kubernetes 化

云原生消息 Serverless 化

云原生消息 Mesh 化

云原生消息生态
云原生消息产品矩阵

消息队列 RocketMQ :阿里巴巴自主研发及双 11 交易核心链路消息产品,阿里云主打品牌,主要面向业务消息处理,打造金融级高可靠消息服务。 消息队列 Kafka :聚焦大数据生态链,100% 融合 Kafka 开源社区,大数据应用领域中不可或缺的消息产品。 微消息队列 MQTT :基于 MQTT 标准协议自研,拓展消息产品的领域与边界,延伸到移动互联网以及物联网,实现端与云的连接。 消息队列 AMQP :100% 兼容 AMQP 事实标准协议,全面融合 RabbitMQ 开源社区生态。 消息服务 MNS :聚焦云产品生态集成 & 消息通知服务(HTTP Endpoint、Function Compute、事件通知、移动推送等)。 事件总线 EventBridge :作为我们下一代的消息产品形态,原生支持 CloudEvents 标准,提供中心化事件服务能力,加速云原生生态集成,EDA首选。
云原生消息生态

云原生消息标准

云原生消息核心竞争力
领先的消息服务能力

高可用:核心交易链路 12 年,双十一 10 年历程,在云上承诺的可用性 SLA 为 99.95% ,可靠性 8 个 9 。 高性能:双 11 消息收发 TPS 峰值过亿,日消息收发总量 3 万亿;拥有全球最大的业务消息集群之一。 低延迟:在双 11 万亿级数据洪峰下,消息发送 99.996% 在毫秒级响应;消息发布平均响应时间不超过 3 毫秒。
统一的消息内核

低延迟读写互斥:通过在 PageCache 层完成消息的读写互斥,来大幅度保障写链路的低延迟。 日志与索引分离:整个存储层将消息以 Append-Only 的方式集中式存储在 CommitLog 中,同时以索引派发这种可扩展的方法来支持事务、定时、查询以及百万队列等高级特性。 一致性多副本:提供多套一致性多副本实现来满足不同的部署场景和需求,比如 Master-Slave 架构、基于 Raft 的 Dleger 和正在自研的秒级 RTO 多副本协议。 多模存储:在未来存储的方式肯定是多样化的,存储引擎抽象来统一的存储接口,并提供了本地块设备、云存储以及盘古原生存储等实现。 多级存储:越来越的用户对消息生命周期有了更高的要求,在过去,消息作为应用开发的中间状态,往往只会被存储数天,通过 Deep Storage ,将以低成本的方式大幅延长消息的生命周期,将消息转化为用户的数据资产,以挖掘更多的诸如消息分析、消息计算需求。
全方面的稳定性建设
稳定性永远是前面的1,业务发展和创新是后面的0。--叔同

云原生消息展望
消息与事件

EventBridge:中心化事件总线

EventBridge:EDA服务框架

异步化,所有的调用通过事件异步化驱动,服务之间没有显示的依赖关系。 松耦合,通过事件总线解除所有服务之间的耦合关系。 可扩展,可扩展能力非常强,基于总线和事件 Schema 完成业务的扩展非常简单。 零改造,请求驱动的微服务,在遇到服务之间能力不对等时,往往需要进行基于消息异步化改造,避免慢调用、超时等异常情况在整个分布式集群触发雪崩效应。基于事件驱动的微服务天然具备力异步、削峰等能力,所以在业务规模扩大时不会带来额外的改造成本。
基于 EventBridge 可以实践流行的 CQRS 和 Event Souring 范式。 可以从 IoT 端设备上接入 Event Streaming 。 基于事件驱动的微服务程序也可以通过 API 网关暴露传统的 Request 请求方式,供前端访问。 EventBridge 还可以连接第三方SaaS提供商,云提供商,不同组织的观察者,与分布式的事件微服务集成。 事件驱动和请求驱动是相辅相成的关系,通过统一 Event APIs 和 REST APIs 打通事件驱动的微服务与请求驱动的微服务,来进行架构上的融合与统一。
EDA 成熟度模型

Incidental:偶发性地使用事件通知机制来进行一些状态的捕获,没有明确的事件处理策略。 Brokered:提供托管的事件代理服务,组织中部分应用开始采用基于消息或者事件的异步化架构。 Centralized:以战略的形式提出中心化的 EDA 解决方案,有专门的组织团队提供 EDA 实现, EDA 架构开始广泛被采用。 Advanced:EDA 架构开始触达更多的业务领域,比如流计算,数据分析,AI,以及 API 市场等,跨组织的事件生态开始形成并进行扩张。 Pervasive:事件变得无处不在,庞大的事件生态形成,组织间的隔离被事件彻底打通,企业的关键业务都将采取 EDA 架构;事件驱动与请求驱动两个生态完成融合。
总结
阿里云消息团队在 EDA 领域的探索目前是处于第三个阶段,未来还有很长的路要走。
加入我们
作者信息:
周新宇(花名:尘央),阿里云技术专家,Apache RocketMQ PMC Member/Committer,在消息和云原生领域有多年的研发经验,目前在阿里云消息中间件团队从事 RocketMQ 产品的研发工作。
特别推荐一个分享架构+算法的优质内容,还没关注的小伙伴,可以长按关注一下:
长按订阅更多精彩▼
如有收获,点个在看,诚挚感谢



