专栏名称: DataFunTalk
专注于大数据、人工智能领域的知识分享平台。
目录
相关文章推荐
清廉蓉城  ·  濯锦风丨“光远”前行为人民 ·  3 天前  
成都本地宝  ·  期待!成都两所“树德”学校预计今年招生! ·  3 天前  
清廉蓉城  ·  中国纪检监察报关注成都:居有所安 ·  4 天前  
成都本地宝  ·  终于官宣!成都多场大型演唱会定档! ·  4 天前  
51好读  ›  专栏  ›  DataFunTalk

Uber案例与企业级额外成本考量

DataFunTalk  · 公众号  ·  · 2024-07-25 13:00

正文

本文探讨了将数据密集型分析应用从本地迁移到云原生环境这一普遍的行业趋势。我们发现,与云存储相关的独特成本模型要求我们对性能优化有更细致的了解。

扫码下载白皮书


【内容概要】

本文探讨了将数据密集型分析应用迁移到云原生环境的趋势,深入分析了云存储成本模型对性能优化的影响。通过对Uber Presto生产环境的数据进行观察和分析,文章揭示了传统I/O优化没有考虑存储API调用的财务成本,可能在云环境中导致高成本问题。


通过实证研究,我们发现 Presto 在Uber生产环境中的数据访问模式具有显著的碎片化特征,例如超过50%的数据访问小于10 KB,超过90%的数据访问小于1 MB。这些碎片化的数据访问模式在云端环境中与传统数据平台环境有着完全不同的意义和影响。


文章以案例研究的形式,提供了I/O优化的逻辑和策略,旨在帮助读者设计出适合云环境的高效I/O方案,从而在云端数据处理过程中显著提升性价比。


【核心章节】

根据云存储的不同情况来调整认知和策略,以及其对应用设计和性能的影响。

基于Uber数据进行案例研究,介绍广泛使用的 I/O 优化技术在企业级 云迁移







请到「今天看啥」查看全文