专栏名称: DataFunSummit

DataFun社区旗下账号，专注于分享大数据、人工智能领域行业峰会信息和嘉宾演讲内容，定期提供资料合集下载。

Elasticsearch 8 让企业更快更好地落地 RAG 应用

DataFunSummit · 公众号 · · 2024-09-04 18:00

主要观点总结

本文介绍了Elasticsearch如何在信息时代和大数据背景下，通过其全面的搜索功能、向量处理能力、硬件加速、模型应用以及精细化权限控制，为大规模数据处理和检索提供强有力的支持。文章聚焦于RAG中Elasticsearch的落地实现，包括索引构建、重排序和多路召回等关键点，并展望了未来的发展趋势。

关键观点总结

关键观点1: 搜索需求发展背景

信息时代和大数据背景下，搜索需求不断演变，从全文搜索到结构化搜索，再到向量搜索和语义搜索。Elasticsearch凭借功能、速度和易用性等方面的优势，成为广受欢迎的搜索引擎。

关键观点2: RAG范式下Elasticsearch的落地实现

Elasticsearch通过云提供整套解决方案，支持向量数据库、混合搜索、基于模型的重排序、多向量支持、部署运行NLP模型、集成第三方推理服务、加强RAG隐私和安全等。优化措施包括硬件加速、查询并发、向量量化等。

关键观点3: 未来展望

未来的发展方向包括全新的计算引擎、更强更快更简单的向量引擎、全面的Search AI能力、云原生Serverless化等。同时，文章还提供了一些学习资源和推荐。

正文

导读在当今的信息时代，随着大型语言模型（LLM）如 GPT-4 和检索增强生成（RAG）技术的蓬勃发展，企业在处理和分析海量数据时需要强大的工具来支持复杂搜索和高效数据处理。Elasticsearch 这款领先的搜索引擎通过其全面的搜索功能、向量处理能力、硬件加速、模型应用以及精细化权限控制，为大规模数据处理和检索提供了强有力的支持。本文将聚焦于 RAG 中 R 的部分，介绍 Elasticsearch 如何助力 RAG 应用落地。

主要分为以下几个部分：

1. 搜索需求发展背景

2. RAG 范式下 Elasticsearch 的落地实现

3. 未来展望

分享嘉宾｜朱杰 Elastic中国首席解决方案架构师

编辑整理｜陈康

内容校对｜李瑶

出品社区｜ DataFun

搜索需求发展背景

搜索是一件非常复杂的事情，上图中列出了很多搜索相关的技术，每一个名词背后都有着复杂的逻辑和大量的工作。而现在之所以说搜索简单，是因为 Elasticsearch 为大家屏蔽了底层各种复杂的数据结构和优化的工作。

Lucene 和 Elasticsearch 之所以长盛不衰，是因为其能够准确把握用户需求并及时跟进。最开始只是全文搜索（full-text search），即在整个文档或数据集中查找包含特定词汇、短语或其他字符串的所有位置。但后来发现仅有全文搜索是不够的，还要有标量搜索，即结构化搜索。在结构化搜索中倒排性能很差，因此又引入了正排，即列式存储。后面为了更好地支持经纬度搜索和数字范围的搜索，还引入了 BKD-Tree 等数据结构。Lucene 和 Elasticsearch 凭借功能、速度和易用性等各方面综合的优势获得了广大用户的青睐。

搜索实实在在地改变了世界利用数据的方式。海量的私域数据已经存在于 ES 生态中。

正是由于 ES 生态中有如此庞大的数据，ES 必须去做向量搜索、语义搜索，完善 RAG 的整个工具链，让用户可以更容易地去创建一个 RAG 的应用，这也是 ES 做向量检索的初衷。

从上图中可以看到，Elasticsearch 在过去支持的全文搜索、结构化搜索以及聚合统计的基础上，又针对当前的需求，支持了向量搜索、语义搜索、向量和经典搜索的混合、模型重排序，以及 RAG 等等多种复杂的搜索，以满足现代企业多样化的信息检索需求。

RAG 范式下 Elasticsearch 的落地实现

上图展示了经典的 RAG 应用流程，Elasticsearch 通过云提供整套的解决方案。本次分享主要聚焦于 Elasticsearch 本身，包括索引构建、重排序和多路召回。

1. Elasticsearch 向量数据库

不同于其他企业的基于数据库外挂插件的方式实现传统数据库到向量数据库转换从而实现全文搜索的路线，ES 社区采用相反的技术，ES 已经拥有了全文检索的能力，从零开始编码，基于 Lucene 实现混合搜索（包括向量+标量+搜索过滤+BM2.5 混合过滤），从而更好地满足后续的优化、召回、协同搜索，保证所有技术的自控性。

为了实现更快更强的混合搜索，具体采取的优化包括：

硬件加速：利用 CPU 硬件指令加速向量索引和计算速度；
增加单个查询并发：增加查询并发度，充分利用更多的计算核心；
向量量化：向量有损压缩，float 到 int8、int4 来平衡精度、速度和成本；
并发查询间协同：一个查询的多个并发线程间协同共享信息，提前终止一些查询线程。

接下来具体介绍每个方向的优化。

（1）硬件加速

运用多种硬件指令和优化后的本地代码，Elasticsearch 显著加速了向量索引和计算，提升系统性能，支持大规模数据处理。包括使用编译器自动向量化技术、利用 JDK 的 Panama 技术实现 Lucene 硬件加速，更多地利用本地代码，实现资源节约和性能优化。

（2）查询并发

原本的 ES 主要看重整体吞吐，正因为此限制了单个查询的资源，以前并发的微观粒度只能到一个分片。这与很多分析型数据库不同，分析型数据库通常会优先保证一个 query 的查询能够快速完成。现在我们希望把选择权交给客户，如果有更多的计算核心数，那么就允许客户充分利用硬件，牺牲一定的整体吞吐，让每个搜索的延迟降到最低。这对于向量搜索非常重要，因为向量搜索是计算密集的场景。

另外，并发度提升后，并发间还需要一个好的协调机制，因为分别去查，信息共享，所以可能会提前终止一些没有必要的搜索。

（3）向量量化

向量量化压缩比是很高的，但是是有损的，对精度有影响，将 float 转换到 int8/int4 可以更好地平衡精度、速度和成本，在海量数据场景下带来的收益是很可观的。

2. Elasticsearch 混合搜索

前文中提到，Elasticsearch 的目标是成为一个最佳的混合搜索平台。目前已支持 BM25 文本搜索及第三方 Embedding 模型的混合搜索，使得 Elasticsearch 在与大型语言模型结合时展现出强大的灵活性和适应性。不容忽视的一点是，向量搜索为语义搜索带来的提升，远超过 RAG，因为 Embedding 能够很好地捕捉语义层面的信息，又不丧失原有的精确搜索的能力。

稀疏向量也是文本召回领域备受关注的一个方向，可以通过扩展词放到文本中，还可以基于模型对权重做很好的调整。

通过 RRF 算法，任意多路的召回都可以混合起来。

3. Elasticsearch 基于模型重排序

基于外连 API 接口，将 ES 与其他 rerank 模型进行解耦，对长文本、半结构化文本等数据都可以产生更好的召回效果。

4. Elasticsearch 多向量支持

多向量支持，涵盖从文档加工、切片到索引构建的全流程操作，高效支持复杂文档管理和查询。

5. Elasticsearch 部署运行 NLP 模型

Elasticsearch 支持直接在其上部署运行 NLP 模型。比如不希望有很复杂的技术栈，只想要做 embedding，那么可以将模型市场比如 Huggingface 上的模型，直接通过 eland 工具传到 Elasticsearch 上，后续文档写入时会自动调用这个模型转成向量，落到索引中，搜索时原始的文本进来也会自动调用这个模型转成向量，从而轻松实现 embedding。

6. Elasticsearch 集成第三方推理服务