专栏名称: 黄建同学
数码博主 超话主持人(ChatGPT超话) 头条文章作者 我的学习笔记,关注AI+新能源
目录
相关文章推荐
爱可可-爱生活  ·  [CL]《Stronger Models ... ·  3 天前  
黄建同学  ·  可口可乐的 AI ... ·  4 天前  
爱可可-爱生活  ·  早! #早安# -20241116051234 ·  5 天前  
爱可可-爱生活  ·  【Thinking ... ·  6 天前  
爱可可-爱生活  ·  【Awesome-World-Models: ... ·  6 天前  
51好读  ›  专栏  ›  黄建同学

LlamaIndex.发布了新的技术:动态章节检索(Dynami-20241114215140

黄建同学  · 微博  · AI  · 2024-11-14 21:51

正文

2024-11-14 21:51

LlamaIndex.发布了新的技术:动态章节检索(Dynamic Section Retrieval)#ai##程序员#

传统RAG(检索增强生成)中,文档的章节结构可能会被忽略,导致检索的内容是章节的片段,无法保留完整的上下文。而动态章节检索通过在检索时使用章节的元数据,保证了检索内容的完整性。

通过动态章节检索,可以避免只检索到章节的部分内容,而是获取整个章节的上下文:

1. 将文档划分为多个区块,并将这些区块标记为它们对应的章节。
2. 进行两次检索,第一次通过语义搜索找到相关区块;第二次检索则利用元数据来动态获取整个章节内容。

访问:github.com/run-llama/llama_parse/blob/main/examples/advanced_rag/dynamic_section_retrieval.ipynb

ChatGPT