云原生环境下的I/O策略:从Uber Presto看性能与成本的平衡

DataFunSummit · 公众号 · · 2024-08-04 18:00

正文

本文探讨了将数据密集型分析应用从本地迁移到云原生环境这一普遍的行业趋势。我们发现，与云存储相关的独特成本模型要求我们对性能优化有更细致的了解。

扫码下载白皮书

【内容概要】

本文探讨了将数据密集型分析应用迁移到云原生环境的趋势，深入分析了云存储成本模型对性能优化的影响。通过对Uber Presto生产环境的数据进行观察和分析，文章揭示了传统I/O优化没有考虑存储API调用的财务成本，可能在云环境中导致高成本问题。

通过实证研究，我们发现 Presto 在Uber生产环境中的数据访问模式具有显著的碎片化特征，例如超过50%的数据访问小于10 KB，超过90%的数据访问小于1 MB。这些碎片化的数据访问模式在云端环境中与传统数据平台环境有着完全不同的意义和影响。

文章以案例研究的形式，提供了I/O优化的逻辑和策略，旨在帮助读者设计出适合云环境的高效I/O方案，从而在云端数据处理过程中显著提升性价比。

【核心章节】

√

根据云存储的不同情况来调整认知和策略，以及其对应用设计和性能的影响。

√

基于Uber数据进行案例研究，介绍广泛使用的 I/O 优化技术在企业级云迁移中可能会带来的额外成本。

√

推荐文章

新闻株洲 · 中车电动启动春季校招

18 小时前

湖南日报 · 11℃ 27℃ 7℃！论任性，还得看长沙天气——

昨天

湖南日报 · 价格大跳水，还要继续降！

昨天

株洲交通频道广播电台 · 涉嫌危险驾驶罪！9座车挤17人，超员88.9%！

3 天前

湖南建设投资集团有限责任公司 · 满弓发力全力以“复” | 湖南建投建工集团130多个项目全面复工

3 天前

中国政府网 · 文件 | 国务院办公厅关于同意建立加快发展康复辅助器具产业部际联席会议制度的函

8 年前

全域旅游 · 旅游 | 史上最全三八节免费政策！济源及周边一大波5A级景区等你来！错过了再等一年！

8 年前

良仓 · 无需插电，随处加湿，荣获无数设计奖的0分贝爱心盆栽加湿器

7 年前

参考消息 · 锐参考 | 昨天会见昂山素季时，中国两位领导人都强调了同一件事——

7 年前

中国安全生产网 · “五分钟安全思考法”值得每一个人学习！

7 年前