为何开源 OLAP 纷纷加入向量检索能力

DataFunSummit · 公众号 · · 2024-05-28 18:00

正文

在当今的数据分析领域，OLAP 百花齐放般展现出其强大的生命力和广泛的应用前景。OLAP 以其独特的特性，如多维数据分析、快速响应和强大的数据聚合能力，成为了企业决策支持系统中的核心组成部分。其应用场景广泛而多样，其中最为经典且常见的包括 BI 报表、用户画像以及流式实时场景。

随着 LLM（大语言模型）的迅速崛起，数据库对向量分析和 AI 支持能力的需求逐渐显化，向量数据库这一原本相对小众的技术领域也迎来了前所未有的关注，甚至在某些时刻显得过度热门。在过去的一至两年间，大量的风险投资涌入这个领域，甚至出现了无一行代码拿下高额 VC 的故事。业界对此讨论热度也持续高涨，但大多数讨论聚焦在我们是否真的需要一个专有的向量数据库这一疑问上。

而从成本和收益的角度考虑，在 OLAP 里面增加向量检索能力成为主流选择。我们看到，业界正在期待一个稳定的融合产品，诸多实践印证了这一点，例如，字节跳动 ByteHouse 团队基于 ClickHouse 构建了全新的向量检索功能，百度智能云相关团队在 ElasticSearch 上增加了向量检索能力，微信团队也做了向量检索分析一体化数仓探索……实践者众多，此处不一一列举。在海外的一些知名开源 OLAP 项目中，也常见到与向量数据库的结合，比如 Apache Pinot，一个 Lambda 架构的开源分布式 OLAP，在海外最大的打车软件 Uber 内部重度使用，是重要的实时基础设施。

在即将于 6 月 15 日举办的以「大模型时代的 OLAP 技术演进」为主题的第 58 届 DataFunSummit：OLAP 架构峰会中，我们将关注 OLAP 与向量数据库结合的新进展，以及 LLM 与 OLAP 的结合思路，同时还将围绕云原生、一体化等主流方向的最新进展进行深入探讨。该峰会策划了开源 OLAP 技术、云原生数仓、生成式 AI 在 OLAP 的应用、Lakehouse 湖仓一体化架构、实时数仓以及 OLAP 能效提升等分论坛，所有论坛都将全程直播，识别下方二维码即可免费报名参会。