如何扛住1.8亿\/秒的双11数据洪峰？阿里流计算技术全揭秘

阿里妹导读：今年的双11再次刷新了记录——支付成功峰值达25.6万笔／秒、实时数据处理峰值4.72亿条/秒。 面对较去年 增幅 100%的数据洪峰，流计算技术可谓功不可没。今天，我们将揭开阿里流计算技术的神秘面纱。

双11刚刚拉下帷幕，激动的心还停留在那一刻：

当秒针刚跨过11号零点的一瞬间，来自线上线下的千万剁手党在第一时间涌入了这场年度大趴——从进入会场到点击详情页，再到下单付款一气呵成。

前台在大家狂 欢 的同 时 ，后台数据流量也正以突破 历 史新高的洪峰形式急 剧 涌入：

支付成功峰值达 25.6 万笔／秒
实时数据处理峰值 4.72亿条/秒

而作为实时数据处理任务中最为重要的集团数据公共层（保障着业务的实时数据、媒体大屏等核心任务），在当天的总数据处理峰值更是创历史新 高达1.8亿/秒 ！ 想象下，1秒钟时间内千万人涌入双11会场的同时，依然应对自如。

流计算的产生即来源于数据加工时效性的严苛需求：

由于数据的业务价值会随着时间的流失而迅速降低，因此在数据发生后必须尽快对其进行计算和处理，从而能够通过数据第一时间掌握业务情况。今年双11的流计算也面临着一场实时数据洪峰的考验。

首先来展示今年（2017年）较去年（2016年）数据洪峰峰值的比较：

2016 年：支付成功峰 值12 万笔 / 秒， 总 数据 处 理峰 值9300 万 / 秒
2017 年：支付成功峰 值25.6 万笔／秒， 实时数据处理峰值 4.72亿条/秒，阿里巴巴集 团 数据公共 层总 数据 处 理峰 值 1.8 亿 / 秒

在今年双11流量峰值翻翻的情况下，依然稳固做到实时数据更新频率：从第1秒千万剁手党涌入到下单付款，到完成实时计算投放至媒体大屏全路径，秒级响应。