![]()
点击上方
蓝色
“
顶层架构领域
”，关注精彩与你分享
大多数现有方法仅从检索语料库中检索短的连续块，限制了对整个文档上下文的整体理解。
RAPTOR（Recursive Abstractive Processing for Tree-Organized Retrieval）引入了一种新方法，即递归嵌入、聚类和总结文本块，从下往上构建具有不同总结级别的树。在推理时，RAPTOR 模型从这棵树中检索，整合不同抽象级别的长文档中的信息。
RAPTOR（Recursive Abstractive Processing for Tree-Organized Retrieval）比传统的检索增强型 LM 性能与绝对准确度上提高 20%。
开源地址：
https://github.com/parthsarthi03/raptor
论文地址：
https://arxiv.org/abs/2401.18059
一、RAPTOR 检索树的构建过程
RAPTOR模型的精髓在于其树状结构的构建，这一过程通过精心设计的递归算法实现，形成了一个层次分明的多层级树形架构。这种结构不仅显著提升了模型对长文本信息的处理能力，更使得对复杂文本内容的理解和检索变得高效而精准。通过递归的方式，RAPTOR能够逐步细化文本信息的粒度，从而确保在多个层次上都能捕捉到关键信息，为后续的文本分析和应用奠定了坚实的基础。
-
首先，需要对文本进行合理的切片处理。这里需要注意选择合适的切片算法很重要，建议参考主流框架的实现方案。
-
然后，RAPTOR 根据其语义embedding递归地对文本块chunk进行聚类，并生成这些聚类的文本摘要。
-
RAPTOR采用
软聚类方法
，允许文本块跨多个聚类，基于
高斯混合模型（GMMs）和UMAP技术进行降维
，以捕捉文本数据的复杂结构和关系，从而优化文本聚类效果。
-
RAPTOR通过
递归的向量分析
，精准地对文本块进行聚类，
并提炼出这些聚类的核心摘要，自下而上地构建出一个结构化的树形模型
。在此树中，相近的节点自然聚集形成兄弟关系，而它们的父节点则承载着整个集群的概要性文本信息。这种设计确保了文本信息的层次化和结构化表达，便于理解和检索。
二、RAPTOR 的检索过程
这里有两种方式实现，基于
深度检索树(树遍历)
和
广度检索树(折叠树)
-
深度检索树从树的根级别开始，根据与查询向量的余弦相似度检索顶层的 top-k (这里为 top-1) 节点。在每一层，它根据与查询向量的余弦相似度从上一层的 top-k 节点的子节点中检索 top-k 节点。这个过程一直重复，直到达到叶节点。最后，将所有选定节点的文本连接起来形成检索到的上下文。
-
广度检索树方法将整个树压缩成单一层，然后根据与查询向量的余弦相似度评估所有层的节点，直到达到设定阈值。
三、开源项目案例应用示例
点击上方
