专栏名称: 吴师兄学算法

和程序员小吴一起从初学者的角度学习算法，以动画的形式呈现解题的思路。每周四篇原创文章，期待你的鉴赏！

大模型实战！从0构建一个功能完备的RAG项目

吴师兄学算法 · 公众号 · · 2024-09-04 16:30

正文

大语言模型 (LLMs) 的应用面临的挑战 有：领域知识的缺乏、信息准确性问题以及生成的虚假内容等。

检索增强生成 (RAG) 技术 通过引入外部知识库等额外信息源，将传统信息检索技术与大语言模型技术相结合， 为以上LLMs问题提供了全新的解决方案。

RAG在多数任务中表现十分完美，但是在深度应用还有很多挑战。不过这也 为算法工程师和科研人员提供了更多的研究和突破机会！

为了让想进入大模型研究领域的同学顺利入门！理解RAG的基本概念和工作流程，掌握RAG模型的构建与应用，研梦非凡推出 《RAG技术深入分析与实践》实战训练营！ 让同学们都能动手 实战构建一个功能完备的RAG项目 。本课程适合以下同学：

对大模型感兴趣、希望学习如何使用Langchain构建高效的RAG系统的 前后端开发工程师、算法工程师；
对大模型应用感兴趣、对编程有一定基础、想进入大模型行业发展的 在读本硕博学生 ！0基础也可！

扫描二维码了解详情/报名（送书👇下拉查看）

课程收获

理解RAG的基本概念和工作流程，掌握RAG模型的构建与应用；
精通Langchain的核心功能，包括如何部署Langfuse、Milvus、LLM、Embedding；
学会从多种数据源加载文档，并运用Text Splitters进行有效文本处理；
掌握检索器的工作机制及其与向量存储的集成方法；
能够评估RAG系统的有效性，并进行相应的优化与改进；
实战构建一个功能完备的RAG项目，主要应用点有Milvus向量库、OpenAI接口兼容的LLM、部署嵌入和重排序模型、上网搜索能力、最后应用Langfuse进行跟踪。

《RAG技术深入分析与实践》实战训练营课程大纲

共9节课！每周一节课，约2个🈷️结课。具体开始时间可扫码咨询（还有送书福利，找助教领第一节试看）。

第一节：RAG简介（8月29号）

RAG核心概念
RAG流水线(调用SiliconCloud)
快速开始

第二节：Langchain基础（9月5号）

Langfuse部署
Document
Runnable接口

PromptTemplate
ChatModel
OutputParser
Retriever
OutputParser

第三节：Retrieval基础

Document loaders

加载CSV数据
加载HTML数据
加载Markdown数据
加载PDF文件
加载URL

Text Splitters

递归拆分文本
拆分HTML
按字符拆分
拆分代码
按语义相似度拆分

Text embedding models

自定义嵌入模型

第四节：检索器与LCEL

Vector stores

常见向量库的比较

Retrievers

LangChain Expression Language

第五节：RAG的评估

RAGAs
评估指标

忠实度(Faithfulness)
答案相关性(Answer relevancy)
上下文精度(Context precision)
上下文召回率(Context recal)
上下文相关性(Context relevancy)

评估实战

第六节：高级RAG(1)

MultiQueryRetriever
Contextual Compression Retriever
SelfQueryRetriever
MultiVectorRetriever
EnsembleRetriever

第七节：高级RAG(2)

ParentDocumentRetriever
Hypothetical Queries
Hybrid Search
Rerank
Long-Context Reorder

第八节：RAG项目实战(1)

Milvus向量库对接
LangGPT提示语言
增加记忆

第九节：RAG项目实战(2)

查询重写
增加上网功能
简单前端实现
总结

扫码报名课程➕领取福利👇

课程福利

专属答疑社群 ，主讲老师直接进群答疑，与大佬0距离学习！
170余篇大模型精选必读论文➕AAAI 2024，CVPR 2024，ICML 2024，NeurIPS 2023，ICLR2024（大模型） 近500篇论文资料， 配套学习效果更佳， 点击这里直接领取！
报名即送 价值99元大模型必读书籍《文本数据挖掘》（第2版），清华大学出版社出版，ACL/CAAI/CCFFellow、中国科学院大学教授著。

扫码报名课程➕享惊喜折扣价