云原生数据密集型分析

DataFunSummit · 公众号 · · 2024-08-08 17:58

正文

本文探讨了将数据密集型分析应用从本地迁移到云原生环境这一普遍的行业趋势。我们发现，与云存储相关的独特成本模型要求我们对性能优化有更细致的了解。

扫码下载白皮书

【内容概要】

本文探讨了将数据密集型分析应用迁移到云原生环境的趋势，深入分析了云存储成本模型对性能优化的影响。通过对Uber Presto生产环境的数据进行观察和分析，文章揭示了传统I/O优化没有考虑存储API调用的财务成本，可能在云环境中导致高成本问题。

通过实证研究，我们发现 Presto 在Uber生产环境中的数据访问模式具有显著的碎片化特征，例如超过50%的数据访问小于10 KB，超过90%的数据访问小于1 MB。这些碎片化的数据访问模式在云端环境中与传统数据平台环境有着完全不同的意义和影响。

文章以案例研究的形式，提供了I/O优化的逻辑和策略，旨在帮助读者设计出适合云环境的高效I/O方案，从而在云端数据处理过程中显著提升性价比。

【核心章节】

√

根据云存储的不同情况来调整认知和策略，以及其对应用设计和性能的影响。

√

基于Uber数据进行案例研究，介绍广泛使用的 I/O 优化技术在企业级云迁移中可能会带来的额外成本。

√

推荐文章

深圳宁南山 · 深圳的一大特点就是市区也有不少山可以爬，而从山上往下俯瞰风景各有-20250224115132

昨天

深圳发布 · 抢票丨《太白金星有点烦》

2 天前

深圳图书馆 · 宋词之美：从《雨霖铃》谈朗诵艺术——艺术北馆晚7点：朗诵艺术沙龙第四期来啦！

4 天前

深圳特区报 · 明星都来了！TA们眼中的深圳……

2 天前

深圳特区报 · @深圳企业，有需要？请按1号键！

3 天前

21财闻汇 · 赵薇砸了30亿，干了一件国内明星都没干过的大事！影视圈和财经圈都炸了

8 年前

装修情报 · 禁欲的暗黑色系，绅士感十足

7 年前

健康时尚百科 · 香菜、大蒜不是随便吃的，赶紧告诉家里做饭的人！

7 年前

时尚女装搭配 · 九分裤+中性鞋！脚踝微露的性感早春！

7 年前

极客大本营 · 可以轻松折叠的自行车，轻盈方便到哪都能骑丨免费试用

7 年前