专栏名称: DataFunTalk

专注于大数据、人工智能领域的知识分享平台。

加速实时数据洞察，引领数字时代决策新纪元

DataFunTalk · 公众号 · · 2024-07-01 13:00

正文

在当今这个瞬息万变的数字时代，"天下武功，唯快不破"这句古语似乎找到了新的诠释。在商业领域，实时数据洞察已成为企业制胜的关键。速度与准确性，如同武林高手的双刃剑，是决定业务决策是否精准有效的核心要素。而要实现这一点，"湖仓之力"便显现出了其不可小觑的价值。

随着业务需求的日益复杂和多元化，实时数据的重要性愈发凸显。不仅在推荐系统、搜索引擎等直接面向用户的交互产品中，实时数据分析推动着“千人千面”的个性化体验成为可能，即便是后台的业务决策，也迫切需要实时数据来支撑快速响应的市场策略。

面对海量数据实时处理的挑战，"湖仓一体"架构打破了传统数据处理的壁垒，实现了批流数据处理的一体化，无论是流式还是批式数据，都能被高效地写入、查询，大大降低了数据处理的复杂度和时间成本。湖仓一体不仅仅是技术上的革新，更是对业务敏捷性的一次革命，它缩短了从数据采集到洞察的链路，加速了数据到价值的转化过程。

如何优化流程以进一步加速数据处理？不同时间维度（分钟级、秒级乃至毫秒级）的提升能为业务带来哪些具体效益？投资回报率如何评估？以及，在众多开源社区中，如何选择适合自身业务特点的流批融合路线，又该如何预判这一领域的未来发展？

7月5-6日在北京将会召开「 DataFunCon2024·北京站：大数据·大模型.双核时代」主题峰会。基于“大模型引领变革，大数据加速前行，双核驱动智能新时代”的核心理念，我们邀请了Apache Doris PMC Chair 陈明雨老师，他将带着「实时洞察，湖仓之力」分论坛，与大家一同探讨如何提升湖仓之力！

演讲题目一：基于 Apache Paimon 的实时湖仓架构实践

演讲嘉宾：钟宇江小米软件研发工程师

个人介绍：硕士毕业于中南大学，现就职于小米计算平台，负责数据湖仓平台和组件的建设维护工作。

演讲介绍和提纲：

1. Apache Paimon 是什么？我们为什么要引入 Paimon

2. 基于 Paimon 构建近实时的数据湖仓

3. 项目总结与未来展望

听众收益：

1. 了解 Paimon 原理、优势

2. 了解 Paimon 在实时湖仓场景的应用实践

3. 了解 Paimon 实时链路中的调优手段

演讲题目二：数据仓库新篇章：云原生实时数仓SelectDB

演讲嘉宾：姜国强飞轮科技产品副总裁

个人介绍：姜国强，飞轮科技产品副总裁、云产品负责人，曾担任百度 Doris 团队存储引擎研发负责人、腾讯 ES/OLAP 产品研发负责人，具有十余年分析型数据库内核研发、架构设计以及团队管理经验。

演讲介绍和提纲：

1. SelectDB 简介：SelectDB的基础介绍与应用场景

2. 数据分析的核心痛点与发展趋势：当前数据分析的关键痛点，未来数据仓库的发展趋势

3. SelectDB的思考与创新：SelectDB在实时性、云原生、湖仓一体方面的创新与突破

4. SelectDB未来发展规划

听众收益：

1. 数仓最前沿的发展趋势以及SelectDB的探索实践

2. SelectDB如何在多场景下达到业界领先的性能水平

3. 云原生机遇之下，SelectDB如何进行数仓的持续创新

4. 湖仓融合趋势过程中，SelectDB在湖仓一体方面的思考与实践

演讲题目三：Apache Paimon 实时湖仓存储底座

演讲嘉宾：李劲松阿里云开源大数据表存储负责人

个人介绍：李劲松，花名之信，PMC Chair of Apache Paimon，PMC Member of Apache Flink，阿里云开源大数据表存储负责人。

演讲介绍和提纲：

主要介绍 Apache Paimon 作为一个湖格式，在湖上构建实时链路，面向 OLAP 提供实时查询，Paimon 经过了8个版本的迭代后，面向流、批、OLAP均有一定成熟度，作为一个统一的共享存储面向主流大数据服务。此分享主要包括：

1. 实时湖仓，解锁企业通用的实时需求

2. 使用 Flink 构建流式入湖与实时链路

3. 使用 Spark 构建批式 ETL 链路

4. 使用 OLAP 引擎极速查询

听众收益：了解最新湖仓一体的场景与玩法，了解统一数据湖格式的基本理念

演讲题目四：腾讯大数据实时湖仓智能优化实践

演讲嘉宾：陈梁腾讯高级工程师

个人介绍：腾讯高级工程师，主要负责腾讯实时湖仓的架构设计和内核优化等工作，推动湖仓一体化在公司大范围内落地并取得显著的性能提升和降本收益。

演讲介绍和提纲：

本次分享主要介绍基于天穹大数据体系下的湖仓建设和优化实践，深入分享湖仓落地技术方案和智能优化实践，显著改善业务体验，提升查询性能，助力业务降本增效。

a.实时湖仓架构

b.智能优化服务

c.场景化能力

d.AI探索

听众收益

a. 传统数仓架构升级，实时湖仓快速落地

加速实时数据洞察，引领数字时代决策新纪元

正文

演讲题目一：基于 Apache Paimon 的实时湖仓架构实践

演讲题目二：数据仓库新篇章：云原生实时数仓SelectDB

演讲题目三：Apache Paimon 实时湖仓存储底座

演讲题目四：腾讯大数据实时湖仓智能优化实践

请到「今天看啥」查看全文