实时计算如何实现秒级响应？易观CTO郭炜揭开谜底！

大数据在近几年成为一个火爆的名词，而企业针对数据的分析从未停止过。从过去的决策支持，到现在普及的精准推荐乃至未来基于实时分析的AI交互，大数据以及相关技术一直是这些业务发展的基石。

易观的实时计算框架是“秒算”，它支持易观百亿级别数据的获取、存储和计算。实时计算核心包括数据的实时获取和数据的实时计算两部分，对于高性能并发的要求是秒级响应。易观的“秒算”是结合开源计算平台、自主研发SDK和接收系统研制的实时计算框架，目前支持Android、IOS、Web、H5和微信小程序的实时计算，支持每日百亿级别数据并发。

实时计算框架首先需要解决数据的实时接收的问题，在网络带宽、接收性能、安全防控等情况下，如何实现海量并发数据平稳接收具有较大挑战。易观采用混合云架构实现百亿级超长数据包的接收，接收端使用公有云弹性扩展，在公有云的基础上利用Edge-computing技术实现云+端的混合计算和策略控制。

云端的主要策略有时间间隔、失败、清洗、分流等策略，对应的设备端也有预先计算、失败、更新、保活等策略配合，处理端则利用私有云平台独占性能、技术迭代迅速、投入TCO可控等优势，这样的混合云架构抗住了每日150亿条 2GB接收数据带宽的生产环境检验。

数据接收端与后台实时计算相结合，实现了百亿级别的数据采集和计算。易观的实时计算整体架构如下：

实时计算架构图

第一部分是数据源层，接入该部分从前端业务系统获取数据；

第二部分是公有云的数据接收层，这部分主要是接收调度策略和分布式接收服务；

第三部分是数据层，这部分是整个过程的核心，最重要的是实时处理部分，数据从接入层接入，经过实时处理后落入HBase集群，其中由基础支撑平台对整个处理部分提供支撑；

第四部分是服务层，这部分由各种面向场景的引擎组成；

第五部分是应用层，目前支持的产品是易观方舟。

易观在实时计算方面有不少应用场景，主要应用场景有：

1. 易观H5实时计算

易观H5实时计算

H5实时计算主要是实时展示数据的采集和清洗次数，当日新增用户、活跃用户、用户打开次数、实时用户行为等信息。

2.易观方舟——实时计算流量数据 

易观方舟——实时计算流量

易观方舟产品实时计算部分主要是实时展示当前浏览用户数、访客数、新增访客数、独立IP数及访客行为信息，可以显示某个顾客的实时来访记录，同时跟踪显示访客当前正在访问的页面等信息。

3. 易观方舟——事件漏斗分析 

易观方舟——事件漏斗分析

事件漏斗转化能支持多种维度下总体和细分事件的实时分析。

4.易观微信小程序实时数据展示

易观微信小程序实时数据展示

易观自主研发的小程序SDK，集用户运营分析、转化分析、用户画像、应用评价等数据分析功能于一身，通过实时分析技术将企业小程序的数据实时采集到云端，经过大数据加工计算实时展现小程序相关数据。

本次着重从整体上对易观实时计算进行介绍，后面会深入到实时计算的内部，分享易观在实时计算和实时分析技术上曾经遇到的那些“坑”，敬请期待！

▼戳这里，体验方舟！