随着科技的发展和人们生活节奏的加快,实时场景在各行各业中的应用越来越广泛。全球知名的移动出行和外卖服务平台Uber 是实时场景应用的典型代表之一。
Uber 最初以提供网约车服务起家,随着业务的发展,逐渐扩展到送餐和货运服务领域,业务已经覆盖了全球 70 多个国家的 400 余座城市。简单来讲,你可以将 Uber 看成一个美团外卖和滴滴打车和货拉拉的结合体。
而 Uber 提供的服务,如网约车、送餐和货运,都是基于实时数据分析和决策的,比如——
●
动态定价:根据实时供需数据调整价格,以平衡市场供需
●
最大调度预计到达时间计算:通过实时数据预测司机到达时间,提高用户等待时间的准确性
●
供求预测:分析历史数据和实时数据,预测未来服务需求,帮助 Uber 优化资源分配
●
实时外卖配送:在 Uber Eats 平台上,餐厅和配送员的状态会实时更新,确保顾客能够随时了解订单状态和配送员的预计到达时间
通过这些实时场景的应用,Uber 能够提供更加个性化和高效可靠的服务,同时优化其运营效率和市场响应速度。开源分布式的实时 OLAP 数据库 Apache Pinot 则是 Uber 大数据基础设施中重要的组成部分,被广泛用于实时数据分析和可视化,以支持业务决策和监控。
当前,实时数据分析是数据驱动决策的核心。在这一领域中,数据索引和搜索的能力显得尤为重要,因为它们直接影响到数据分析的效率和准确性。随着 GenAI 技术的不断发展和应用,实时数据分析正迎来一场革命性的变革。
在这场变革中,海内外是否有不同的见解和发展路线?海外是否有实时数据分析的新理论、新方法和新工具?如何为 OLAP 获得更强大的数据索引和搜索能力?
为探究这些问题的答案,在即将于 6 月 15 日举办的以「大模型时代的 OLAP 技术演进」为主题的第 58 届 DataFunSummit:OLAP 线上峰会中,DataFun 邀请到了 Apache Pinot PMC、海外知名云原生数据分析 SaaS 公司 StarTree 联合创始人付翔,他将分享题为《GenAI 时代的实时数据分析:Apache Pinot 与向量索引技术探秘》的精彩内容。本次分享
将
全程直播,识别下方二维码即可免费报名参会。
付翔老师本科毕业于清华大学,硕士毕业于佐治亚理工学院,是一位经验丰富的软件工程师和企业家,目前担任 StarTree 的联合创始人。在创建 StarTree 之前,他在全球知名出行服务公司 Uber 担任流式数据平台架构师,支持了 Uber Rides、Uber Eats 和 Uber Freight 等各种应用,积累了丰富的数据服务、处理和分析方面的复杂挑战应对经验。而在加入 Uber 之前,他曾在全球知名职业社交网站 LinkedIn 就职,主要负责 Apache Pinot 的开发。他也是 Apache Pinot 的创始人和项目管理委员会(PMC)成员。
在本次分享中,他将着重介绍 Apache Pinot 如何通过向量索引实现了开源数据库的功能,从而提供高效的数据索引和搜索。以下是他将分享的几个要点——
●
深入探讨 Apache Pinot 的架构和特点:Pinot 是一个专注于实时 OLAP 的分布式数据库,具有高度可扩展性和性能稳定性。他将介绍 Pinot 的基本原理以及其在实时数据处理中的优势,为后续讨论做好准备
●
重点关注 Pinot 内部的向量索引功能:通过将向量数据结构化并建立索引,Pinot 能够实现高效的相似度搜索和复杂查询。他将详细解释 Pinot 如何利用向量索引实现数据搜索,并讨论其在实时数据分析中的应用场景和性能优势
●
利用 Pinot 的向量索引功能的经验和最佳实践:介绍一些常见的应用案例,包括实时
推荐、用户画像分析和异常检测等,以及如何通过优化索引结构和查询算法来提升系统性能和稳定性
●
Apache Pinot 如何通过向量索引实现开源数据库的功能,从而为实时数据分析提供可靠的技术支持和解决方案
●
OLAP 数据库选型过程中的考虑因素和技术指标,以及如何在实时数据分析中做二次开发