专栏名称: CTO肉饼
robbin是前JavaEye网站创始人,现在是丁香园CTO。如果你是技术人员,正在创业或者希望加入创业,关注互联网产品、研发、运营、创业管理,请关注我。
目录
相关文章推荐
51好读  ›  专栏  ›  CTO肉饼

双十一背后的技术发展随想

CTO肉饼  · 公众号  · 程序员  · 2020-11-10 23:15

正文

请到「今天看啥」查看全文


马上就要到2020年的双十一了。这又是一个对于全国许多网民来说,注定深夜抱着手机下单的时刻,也注定将再一次突破历史交易量。去年,也就是2019年双十一,阿里平台交易量达到了2684亿,峰值交易量达到了 54.4 万笔/秒。很多阿里之外的互联网公司也加入了双十一,在这个特殊的日子一起掀起了网络购物的狂欢。让我们一起拭目以待,今年将突破怎样的记录吧。

双十一之夜,也意味着很多很多工程师的不眠之夜。作为一个工程师来说,最好的状态应该是:「好整以暇」,也就是说,网络流量,业务处理逻辑应该保持一个非常平稳的状态,不会有什么突发的不可预知的问题出现。

可惜的是,双十一之夜,网络流量在短时间内至少成百上千倍的暴增,网络交易量瞬间成千上万倍的放大。正常的网络资源、服务器资源都会面临极大的压力,正常的程序逻辑在极端的情况下很可能出现很多问题。极端严苛的应用场景,每年都在不停的挑战聪明的工程师们,也极大推进了中国互联网技术的发展。用阿里巴巴CTO张建锋的一句话来形容就是,阿里巴巴“天猫双十一”是世界互联网技术的“超级工程”。

云计算的快速发展

阿里云是从2008年开始起步的,如今已经成为了全球最大的规模的混合云应用,自研的阿里云飞天分布式系统使得阿里云的弹性计算能力累计超过了1000万核,相当于10座大型数据中心的脉冲计算新记录。

并且根据阿里达摩院的介绍,为了保障双十一,云服务背后的IDC机房,甚至使用了液冷服务器「麒麟」。也就是把整台服务器浸在液体里循环冷却,不用空调,能源使用率(PUE)逼近了理论极限值。位于大草原边上的阿里巴巴张北数据中心,部署全球最大的液冷服务机群和风冷服务机群。

支持高并发交易的数据库

传统的Oracle数据库,本身不是分布式的数据库,在应对高并发交易的场景,存在很大的限制。例如:短时间内大量用户涌入;短时间内业务流量非常大,数据库系统压力非常大;一段时间(几秒钟、几分钟、或半个小时等)后业务流量迅速或明显回落。

在阿里去IOE之后,基于开源的MySQL数据库,开始了魔改的过程。之后在分布式的平台上诞生了OceaBase。如今OceanBase,以7.07亿(707,351,007)tpmC的在线事务处理性能,创造了tpmC的TPC-C世界纪录。

此外,在阿里云上,还推出了PolarDB,提供100T级别数据库容量、6倍于MySQL性能、使用成本持平开源数据库,不必自己搭建分布式数据库了。

在双十一严苛的应用场景下,催生和推动了多少互联网技术的发展?

  1. 自主研发神龙架构,用自研服务器来做虚拟化;

  2. 自主研发的飞天分布式操作系统,支持了几乎全球最大的云应用;

  3. 自主研发的分布式OceanBase 和云原生PolarDB;

  4. RDMA 网络,能够实现远端存取,甚至于比本地读写磁盘更快;

  5. 每秒能够支持25亿记录的流式数据处理系统,实现实时数据处理;

  6. 分布式的消息服务MQ,用来管理大规模的消息;

以及还有许许多多,也许我们并不知道的新技术。当我们在双十一之夜,抱着手机愉快的、流畅的下单,工程师们构建的这个超级复杂系统正在默默、高效的服务每个用户。

你还知道哪些双十一背后关于技术发展的有趣的事情吗?欢迎一起分享!








请到「今天看啥」查看全文