专栏名称: DataFunSummit
DataFun社区旗下账号,专注于分享大数据、人工智能领域行业峰会信息和嘉宾演讲内容,定期提供资料合集下载。
目录
相关文章推荐
Python爱好者社区  ·  梁文锋和杨植麟,论文撞车了!! ·  3 天前  
Python中文社区  ·  三年稳赚40倍!用布林带挤压策略跑赢特斯拉 ·  3 天前  
Python开发者  ·  成人玩偶 + ... ·  5 天前  
Python爱好者社区  ·  DeepSeek彻底爆了! ·  5 天前  
Python爱好者社区  ·  DeepSeek 被放弃了,阿里牛逼! ·  4 天前  
51好读  ›  专栏  ›  DataFunSummit

云存储策略调整

DataFunSummit  · 公众号  ·  · 2024-06-26 18:00

正文

本文探讨了将数据密集型分析应用从本地迁移到云原生环境这一普遍的行业趋势。我们发现,与云存储相关的独特成本模型要求我们对性能优化有更细致的了解。

扫码下载白皮书


【内容概要】

本文探讨了将数据密集型分析应用迁移到云原生环境的趋势,深入分析了云存储成本模型对性能优化的影响。通过对Uber Presto生产环境的数据进行观察和分析,文章揭示了传统I/O优化没有考虑存储API调用的财务成本,可能在云环境中导致高成本问题。


通过实证研究,我们发现 Presto 在Uber生产环境中的数据访问模式具有显著的碎片化特征,例如超过50%的数据访问小于10 KB,超过90%的数据访问小于1 MB。这些碎片化的数据访问模式在云端环境中与传统数据平台环境有着完全不同的意义和影响。


文章以案例研究的形式,提供了I/O优化的逻辑和策略,旨在帮助读者设计出适合云环境的高效I/O方案,从而在云端数据处理过程中显著提升性价比。


【核心章节】

根据云存储的不同情况来调整认知和策略,以及其对应用设计和性能的影响。

基于Uber数据进行案例研究,介绍广泛使用的 I/O 优化技术在企业级 云迁移







请到「今天看啥」查看全文