专栏名称: 阿里云云原生
发布云原生技术最新资讯、汇集云原生技术最全内容,定期举办云原生活动、直播,阿里产品及用户最佳实践发布。与你并肩探索云原生技术点滴,分享你需要的云原生内容。
目录
相关文章推荐
出彩写作  ·  写材料电光石火般的灵感 ·  23 小时前  
出彩写作  ·  写材料列小标题搭框架常用共性词语2000个 ·  昨天  
出彩写作  ·  快速列措施做法提纲的小套路 ·  2 天前  
成飞资料库  ·  做项目如何避免情绪焦虑和自我内耗 ·  2 天前  
鸡西新闻网  ·  2月23日 | ... ·  3 天前  
鸡西新闻网  ·  2月23日 | ... ·  3 天前  
51好读  ›  专栏  ›  阿里云云原生

1 名工程师轻松管理 20 个工作流,创业企业用 Serverless 让数据处理流程提效

阿里云云原生  · 公众号  ·  · 2024-04-22 18:30

正文

作者:岳洋、陈德全、刘静娜

北京语势科技有限公司成立于 2023 年 6 月,语势科技定位为“智能投资时代的主题入口”,在资管行业从以机构为核心转向以用户为核心的变革时代,通过打造主题投资引擎,赋能普惠投资一体化,打造以投资者和资管机构为主题和核心、自然语言交互形式为入口的“新桥梁”。

语势科技日均处理万条金融资讯,通过收集信息、发掘新兴趋势、判断趋势拐点,形成了包含 10+ 个超级主题、40+ 个投资主题、200+ 子主题的主题投资体系; 现有 10 个行业标杆客户, 通过数据 API 和周报月报等形式提供服务。 目前已累计发出约 500 份报告,近 1000 份公众号分析文章。 远期将通过实时挖掘用户意图和进行主题计算,实现千人千面的主题投资 Agent。

平台特点及遇到的挑战




Cloud Native

语势科技的产品属于典型的信息服务类产品。平台通过多种渠道汇集金融行业资讯并存储到本地后,按照投资分析框架启动相关流程进行处理,最终形成金融数据产品对外提供服务。平台业务功能及对系统资源的需求存在如下特点:

1. 数据量大,存储需求多样

a) 平台的核心数据以非结构化数据为主,各个处理阶段的数据包括源数据、中间数据及结果数据总量在 TB 级别,虽然这个量级对于文件或对象存储来讲是小菜一碟,但是对于分析/索引类存储还是存在一定压力。

b) 非结构化数据存储在面对不同的处理过程时,需要多种访问接口支持,包括文件、对象、OLAP 数据库和缓存及索引系统等。

c) 金融资讯的处理需要满足时效性要求,因此对于分析型存储系统的查询性能也存在较高要求。

2. 数据处理过程复杂多变

a) 数据处理流程是投资分析策略在系统中的体现,是整个平台的核心。这些流程中的关键节点处理逻辑是无法通过标准化的平台功能实现,需要通过 Java/Python 代码发布到平台,并可以由流程灵活调用。

b) 为了实现业务逻辑需求,在处理流程上各处理节点之间,以及节点和数据存储接口间,甚至各流程间都存在频繁的数据流动和交互需求。

c) 投资策略需要及时针对市场变化和客户需求进行调整。数据处理流程甚至核心处理逻辑就需要同步按照业务策略进行调整。

d) 因为数据处理逻辑的复杂性,导致开发上线后,还经常需要在生产环境针对特定数据的处理过程进行跟踪和分析,需要能够方便查看详尽的运行时信息。

3. 平台资源需求存在明显峰谷

a) 平台在全天运行期间会存在固定峰值,包括资讯集中流入和处理时段,业务人员集中查询时段。同时,在周初和月初也存在访问峰值。

b) 峰值时段对处理性能扩容比例要求较高,且不同的峰值类型对系统资源的需求类别也不一样,需要针对不同场景进行扩容动作的预先规划。

4. 可靠性/及时性要求

a) 资讯会 24 小时持续产生并流入平台,需要在进入平台若干分钟内处理完成并进入对外服务数据池,因此需要平台能够稳定持续进行处理,遇到峰值流量自动扩容以避免数据积压。如果处理过程存在遗漏或者出错要能够自动重试。

b) 对外服务相关系统作为最终用户的访问入口,对其服务连续性有一定要求。

针对上述的平台功能设计,语势科技对包括 IaaS/PaaS 在内的 IT 基础设施产生了如下需求:

1. 多样存储类型,各系统间流畅互访, 支持多样存储类型,各类存储系统间可以无缝互访,日常使用、管理和数据流转可以通过 GUI 配置。

2. 简单灵活的数据处理流程

a) 提供统一的处理流程管理入口,支持图形化的流程设计。

b) 支持使用常见开发语言实现复杂业务逻辑,并能够无缝嵌入流程。

c) 流程节点间,流程和数据存储接口,流程间可以实现复杂交互控制。

d) 可以对运行时流程跟踪分析处理过程,能够方便的对特定数据或流程进行跟踪分析。

3. 系统自动扩缩容

a) 数据处理流程的系统容量能够按照流量峰谷自动扩缩容,且其扩缩容可以按照一定脚本针对系统间依赖关系进行处理。

b) 其他业务系统需要按照业务访问峰谷自动调整。

4. 研发工作整体提质增效

a) 在保证系统可靠性的前提下,降低IT资源直接成本,以及管理成本

b) 提高 CI/CD 整体流程效率。


云工作流 CloudFlow

+ 函数计算 FC 助力复杂数据处理提效

Cloud Native

语势科技是在云原生浪潮下诞生的数据科技企业,在创立之初就决定采用云原生技术来提高 IT 工作整体质效并优化成本。







请到「今天看啥」查看全文