OpenAI在RAG技术上的最佳实践与策略

点击上方 蓝色 “ 顶层架构领域 ”，关注精彩与你分享

随着人工智能技术的不断演进，大型语言模型（LLM）的性能优化已成为AI领域的热点问题。OpenAI的技术专家团队分享了他们在 检索增强生成（RAG）技术、提示工程和微调方面的最佳实践 ，为提升模型性能提供了宝贵的经验和策略。

一、微调技术的最新进展

• 函数调用数据的微调 ：通过特定数据集的微调，优化模型对特定函数调用的理解。

• 持续微调 ：提供了一种机制，允许模型随着时间的推移不断适应新数据。

• 平台内全UI微调 ：通过用户界面的直接操作，简化了微调过程，提高了 效率。

二、优化LLM性能的挑战

Colin细致讨论了优化大型语言模型的挑战，包括：

• 信号与噪声的分离 ：在大量数据中识别有效信号，滤除干扰噪声。

• 性能衡量的复杂性 ：确立合理的性能评估标准，确保模型优化方向的正确性。

• 解决问题的策略选择 ：面对多种可能的解决方案，如何做出最合适的选择。

三、RAG技术的应用与案例分析

RAG技术通过结合Embeddings技术和向量数据库，显著提升了信息检索的效率和准确性。案例分析包括：

客户需求1：

• 问题描述 ：基于大量文档的知识检索需求，要求模型仅从这些文档中检索信息。

• 解决方案 ：

• 直接将PDF和docx文件嵌入，准确率是45%。
• 2. 经过20次调优迭代，解决细节小Bug - 准确率到65%
• 3. 基于规则进行优化，譬如先判断问题属于什么领域（退一步思考），然后再回答，效果提升到85%
• 4. 发现数据里有一些是结构化数据（如表格），为此定制提取解决，准确率提升到98%
  总结： 通过直接嵌入文件、迭代调优、规则优化和结构化数据的定制提取，逐步提升检索准确率。

客户需求2：

• 问题描述 ：文本生成SQL的需求，即根据自然语言问题和数据库模式生成正确的SQL查询。
• 解决方案 ：
• 首先，我们用最简单的方法，比如余弦相似性，寻找类似问题的SQL查询，进行问题相似性搜索。我们测试了不同的嵌入和提示工程，但结果不太好。后来，我们意识到不同的数据库模式对问题的答案可能完全不同。
• 所以针对一个问题进行相似性搜索意义不大，但用预设答案进行搜索可能效果更好。我们使用预设的文档嵌入，生成一个假设的SQL查询进行相似性搜索，性能大大提升。对于这个特定问题，我们尝试了上下文检索通过简单过滤将问题按难度排名，只带回同等难度的例子，这带来了改进。
• 我们还尝试了一些先进技术，比如链式推理，让系统识别列、表，最后构建查询。但我们决定采用更简单的方法进行自我一致性检查，让系统构建查询并运行，出错时给出提示，再次尝试。