专栏名称: DataFunSummit

DataFun社区旗下账号，专注于分享大数据、人工智能领域行业峰会信息和嘉宾演讲内容，定期提供资料合集下载。

电子书上新 |《数据湖与实时数仓：架构、实践与治理》

DataFunSummit · 公众号 · · 2024-07-27 18:00

正文

领取方式如下：

点击下方标签，关注 DataFunSummit公众号

关注上方公众号，私信回复 『实时数仓』 获取领取方式

资料目录及介绍：

结合数据湖的实时数仓架构演进

探讨了实时数仓架构的实际应用、设计挑战、技术选型及数据湖方案的优化与实施，分享实时数仓在落地和演化过程中的一些问题和解决方案。

数据湖在快手的应用实践

数据湖Hudi在快手的应用实践，从业务视角回顾其在快手的推广历程，提升开发效率并优化成本。文章将分享应用案例，探讨如何与技术团队配合，将Hudi打造为全公司多场景的核心基础设施。

华为实时入湖 Hudi 应用解决方案

华为推出实时入湖Hudi应用解决方案，支持高效数据集成与实时处理，通过专业CDC工具提升资源利用率，利用Hudi的MOR格式和索引策略优化数据管理和查询，同时创新MOW存储模型和MDT索引加速技术。

面向 Data+AI 时代的数据湖优化与实践

本文探讨了AI数据链路管理挑战与读写性能问题，介绍了Apache Iceberg作为数据解决方案的优势，并通过PyIceberg优化数据加载以提升AI性能。同时，讨论了向量查询优化及数据湖技术面向DataAI的优化实践。

数字经济时代，元数据驱动的数据治理还重要吗？

分享了元数据驱动的数据治理。元数据驱动的数据治理还有助于通过提供对数据上下文含义的清晰理解，来建立数据的信任和透明度。

Hudi 1.0 新功能预览

Apache Hudi 1.0全新发布，优化大数据处理效率和查询性能，支持多模式索引和函数索引，提升系统灵活性和可扩展性，为数据湖仓领域带来显著进步，满足现代数据管理挑战。

京东零售数据湖应用与实践

京东零售通过数据湖架构革新，采用Flink、Spark等技术优化数据处理，提升实时性和效率，降低维护成本。陈洪健分享其应用与实践，强调索引能力对查询效率的重要性，并展望数据架构的未来发展方向。

流式数据湖 Paimon 0.7 的研发进展

请到「今天看啥」查看全文

推荐文章

环保人 · 储能电站项目套什么项目类别？做环评书还是环评表？

19 小时前

环保人 · 究竟如何理解名录中“复配”或“混合、分装”？干燥、熔化等都不能有？请看环境部文件资料明确依据

昨天

龙船风电网 · 利好海上风电！英国推出新计划

昨天

龙船风电网 · 利好海上风电！英国推出新计划

昨天

广东生态环境 · DeepSeek如何紧密结合环保工作？看看这些地方的部署→

2 天前

广东生态环境 · DeepSeek如何紧密结合环保工作？看看这些地方的部署→

2 天前

环保人 · 验收可以简化处理前浓度监测？怎么简化？有什么环境部明确依据吗？

2 天前

立德融金集团 · 上市公司并购重组失败十大原因解析

8 年前

老虎财富 · 涨疯了！2017年北京1月最新最全小区房价表！你家涨几万了？

8 年前

爆笑gif图 · 二次事故到底有多可怕？一个视频告诉你

7 年前

食尚知味 · 6月1日起养老金实施十三连涨！赶快互相转告

7 年前

正安001 · 正安“呆哥”不呆，搞农业，搞出了“大名堂”.....

7 年前