专栏名称: 阿里云云原生
发布云原生技术最新资讯、汇集云原生技术最全内容,定期举办云原生活动、直播,阿里产品及用户最佳实践发布。与你并肩探索云原生技术点滴,分享你需要的云原生内容。
目录
相关文章推荐
普象工业设计小站  ·  4.7-4.14梦幻启程 ·  昨天  
普象工业设计小站  ·  超硬核!机械表高精度建模,全网最直观,最详尽 ... ·  2 天前  
普象工业设计小站  ·  中国“最美烂尾楼”耗资上百亿,如今68元一晚 ... ·  2 天前  
普象工业设计小站  ·  搞笑又扎心 ... ·  3 天前  
普象工业设计小站  ·  洁癖姐妹建议人手一个,精致出行收纳超好用 ·  3 天前  
51好读  ›  专栏  ›  阿里云云原生

阿里云 ApsaraMQ 率先完成消息队列全系 Serverless 化,携手 Confluent 发布新产品

阿里云云原生  · 公众号  ·  · 2024-03-29 19:12

正文

云原生时代,消息队列成为现代化应用的关键组件,也是云原生架构底层通信的基础设施。阿里云消息队列发展至今已有十多年历程。

3 月 29 日,在阿里云最新一期的“飞天发布时刻”上,阿里云云原生应用平台负责人丁宇宣布,云消息队列产品升级全新品牌 ApsaraMQ,将围绕“高弹性低成本、更稳定更安全、智能化免运维”三方大向持续拓展突破,产品全面 Serverless 化,帮助用户降本 50%;同时与全球消息流领导者 Confluent 达成战略合作,推出云消息队列 Confluent 版,为企业和开发者提供更高效更安全的消息流服务, 已在阿里云中国站与国际站同步上线。

阿里云云原生应用平台负责人丁宇宣布 ApsaraMQ 全新品牌升级

早在 2012 年,RocketMQ 诞生于阿里内部,用于淘宝交易核心链路。历经多年双 11 的考验打磨,2015 年,阿里云面向企业客户提供商业化消息队列服务。随后以 RocketMQ 为基础,拓展了 Kafka、RabbitMQ、MQTT 等商业化产品,用以服务多样化的客户场景。
2017 年,RocketMQ 成为 Apache 顶级开源项目,也成为了开源消息中间件领域的领导者。2022 年,阿里云发布 RocketMQ 5.0,全面拥抱云原生架构,显著提升性能体验。2023 年,阿里云消息队列全面 Serverless 化,极简运维、按需计费,进一步增强弹性、降低成本。

在本次发布会结束后, 阿里云资深技术专家林清山与阿里云资深产品专家杨秋弟 接受了 CSDN 专访,共同探讨随着 Serverless 时代全面到来,消息产品技术演进方面的路线选择与实践经验。

全行业数字化转型加速,ApsaraMQ 诞生

数据显示,全球 IDC 的利用率不超过 30%,企业仍在为基础设施付出巨大的成本。杨秋弟在分享中提到,在数字化转型方面,互联网企业是先行者,天生就已经拥有了数字化的基因,因此这类企业对于新技术有极高的嗅觉和灵敏度,快速发展业务是必然趋势。
近几年,传统行业对于数字化的成本和效率都有了更高的要求,并且转型的速度非常快。例如金融行业对于上云、用云的需求与发展速度非常高,另外制造业、新能源汽车等领域的企业对于数字化转型的布局,以及上云、用云的加速,也远超预期。随着云原生、Serverless 技术心智的加强,越来越多企业数字化转型的进程,会像互联网行业一样,逐步进入到成熟阶段。
正是在这样的行业背景下,随着云原生、Serverless 技术的快速发展,为了给企业和开发者带来更清晰的产品认知,提升使用体验,阿里云消息产品迎来全新品牌升级云消息队列 ApsaraMQ,涵盖了业界主流的消息队列产品:包括 RocketMQ、Kafka、RabbitMQ、MQTT 和 MNS,以精细化的产品定位和功能特性,满足企业在多元化场景下的消息服务需求。目前,ApsaraMQ 全系列产品,已经成功服务超过 10 万家企业,广泛覆盖超过 20 个垂直行业。

阿里云全系列消息产品 Serverless 化,国内唯一

与早期云计算为用户提供弹性的基础设施不同,Serverless 让云计算从一种资源真正变成一种能力。过去云计算用云服务器替代了物理服务器,但客户依旧按“几核几 G 服务器”的模式来购买云资源,未来云计算将全面 Serverless 化,更加接近“电网”模式,按计算的调用次数付费。因此,全球各个云厂商都在不断将产品体系 Serverless 化,新的云服务或新功能大多数是 Serverless 形态。

Serverless 全托管的出现正在深度影响和改变着应用技术架构。从企业级应用架构,到互联网分布式架构,服务化、可伸缩、松耦合等理念已经深入人心,但分布式技术的实施复杂度却不断攀升。 而 Serverless 的自适应、免运维能够大幅降低复杂度,其高弹性又充分发挥了云的优势。 随着各行业对 Serverless 理念逐步接受,应用场景不再局限于轻量级的事件驱动,更多的企业将他们的核心业务运行在 Serverless 架构上。可以说, 企业全栈 Serverless 的发展趋势逐渐明朗。
在 IT 技术架构中,消息服务是重要组成部分,消息队列契合了 Serverless 事件驱动的编程理念,有助于开发者实现高度可扩展和弹性的应用程序,这也是 Kafka 等消息技术与服务兴起的原因。不过,在众多公有云厂商提供的消息队列服务中,多数仅仅是提供了开源消息产品的纯托管服务,而阿里云的消息队列是其中少有的全面结合大规模云计算场景,在开源基础上深度自研增强的消息服务。
消息中间件作为分布式架构中的重要组成部分,在全栈 Serverless 化的潮流中,阿里云需要比用户更早看到趋势的变化,才能满足客户的需求。杨秋弟介绍,“以 Serverless 的形式提供消息中间件产品,我们希望给客户带来实在的价值,用户可以按需使用,灵活计费,而非以往云托管类 IDC 的形式。”
林清山分享表示:“大部分云厂商提供消息产品,主要是提供预付费的、面向物理资源售卖的托管开源消息队列实例;在技术实现上,更多的是直接基于开源的消息队列进行运维自动化和产品化包装,较少涉及内核自研和技术增强。而 ApsaraMQ 则是深度结合阿里云基础设施的能力,充分利用飞天操作系统的底层能力(如盘古 DFS、对象存储 OSS 等),进行消息引擎存算分离改造、软硬结合优化改造,彻底走向 Serverless 架构;在产品形态上则是提供按需弹性、按量付费,面向业务能力售卖的 Serverless 模式。云计算走向 Serverless,符合计算机技术发展的必然趋势,那就是池化资源、分时复用,不断提升算力利用率,同时屏蔽技术细节,让客户专注实现业务价值。”
阿里云消息队列 Serverless 架构采用经典的存算分离架构,遵循三层架构设计理念:
第一层 MQ Proxy 采用彻底的无状态网关架构设计,客户可以通过灵活的多形态网络接入,随机连接一台计算节点可以进行消息收发。在统一存储引擎的基础上,面对客户侧实现多协议多领域场景的消息的覆盖,目前 ApsaraMQ 可支持 MQTT、gRPC、HTTP,AMQP 等多种主流协议。Proxy 同时承载多租户架构的设计,包括多租户命名空间权限认证、安全隔离、扩大管理等,以及消息云服务多个切面的逻辑,包括可观测、计量计费、审计等等。
第二层消息的存储引擎,是承载消息基础存储实现,包括消息的持久化、哈希索引、时间轮索引、消费者进度维护及高可用切换逻辑,可以面向云存储、本地存储进行统一的存储抽象。由于采用存算分离架构,消息的存储引擎也逐渐变成一个无状态的计算节点,其数据都落地在分布式的文件系统、盘古以及对象存储上。消息存储引擎节点通过动态绑定云存储上的消息数据分区,对上层 Proxy 提供消息读写服务。
底层的共享云存储层则是由云厂商提供的基础存储服务。Apsara MQ 使用共享的热存储盘古 DFS,提供高性能、高可用、低延迟的存储能力。同时,消息冷数据可转存到对象存储,通过共享的冷存储 OSS,获取无限的低成本存储空间。
ApsaraMQ 始终围绕 高弹性低成本、更稳定更安全、智能化免运维三大核心方向,做拓展与突破。其中:
  • 高弹性低成本: ApsaraMQ 打造的存算分离架构,提供秒级万 QPS 吞吐的弹性能力,弹性实例的成本平均降低 50%;
  • 更稳定更安全: ApsaraMQ 容灾能力增强,服务可用 SLA 最高达到 4 个 9,数据提供了多级存储,最高达到 12 个 9 的消息可靠性;
  • 智能化免运维: ApsaraMQ 提供全链路的健康度智能巡检,按需自适应弹性,免运维。







请到「今天看啥」查看全文