在RAG过程中，如何检索出正确的内容供AI参考，是降低AI幻觉，提升AI回答质量的关键点。#ai##程序员#
基于这个点，最近有不是研究可以参考：
1. Antropic 提出的Contextual Retrieval，使用两种子技术：上下文嵌入和上下文 BM25。此方法可以将失败的检索次数减少 49%，与重新排序结合使用时，可以减少 67%。图1 - 图4，访问：
网页链接
2. Jina AI提出的Late Chunking，通过先Embedding，在每个块都保留的上下文信息，再分块的方式提高RAG检索的准确性。参考之前的微博：网页链接
3. RAGFix团队提出的FFF（Fully formatted facts），该技术认为：LLM 围绕名词短语组织信息，当遇到语义相似的单词或短语时，它们有时会混淆或误解它们。这导致模型在生成响应时选择错误的“路线”，从而产生幻觉。因此其解决方案是将输入数据转换为“完全格式化的事实”（FFF）。图5 - 图8，访问：网页链接
4. 该论文的方法为每个文档生成元数据和合成问答 (QA)，以及为基于元数据的文档集群引入元知识摘要 (MK Summary) 的新概念。RAG检索召回的是"问题+答案"的组合，而不是单纯的文本块。图9-图10，访问：网页链接
ChatGPT
基于这个点，最近有不是研究可以参考：
1. Antropic 提出的Contextual Retrieval，使用两种子技术：上下文嵌入和上下文 BM25。此方法可以将失败的检索次数减少 49%，与重新排序结合使用时，可以减少 67%。图1 - 图4，访问：
网页链接2. Jina AI提出的Late Chunking，通过先Embedding，在每个块都保留的上下文信息，再分块的方式提高RAG检索的准确性。参考之前的微博：
网页链接3. RAGFix团队提出的FFF（Fully formatted facts），该技术认为：LLM 围绕名词短语组织信息，当遇到语义相似的单词或短语时，它们有时会混淆或误解它们。这导致模型在生成响应时选择错误的“路线”，从而产生幻觉。因此其解决方案是将输入数据转换为“完全格式化的事实”（FFF）。图5 - 图8，访问：
网页链接4. 该论文的方法为每个文档生成元数据和合成问答 (QA)，以及为基于元数据的文档集群引入元知识摘要 (MK Summary) 的新概念。RAG检索召回的是"问题+答案"的组合，而不是单纯的文本块。图9-图10，访问：
网页链接ChatGPT
