RAG并未止步，多模态RAG前沿探索

DataFunSummit · 公众号 · · 2024-08-21 18:00

正文

提起大模型，绕不开AIGC、LLM、RAG等热点关键词，2024 年也被看作大模型的应用落地之年。检索增强生成系统当前也成为了企业知识库、智能客服、专业助手、电商导购、内容创作推荐等场景的核心环节。

检索增强生成- RAG (Retrieval-Augmented Generation)，是一种将 LLM 与信息检索结合的技术，它有效解决大语言模型面临的一些挑战，如幻觉问题、难以维护实时更新的知识、私有数据的隐私安全等问题，在降低模型成本的同时增强了检索的效果和效率。

过去一年来，随着 RAG 系统在各行各业、各种业务场景的应用探索，我们也发现RAG的应用仍面临许多问题，但是它的下一步该如何走？未来又将如何发展？业界仍在不断探索，前段时间微软开源的 GraphRAG 也给我们带来了启发：结合图和图机器学习的能力。

GraphRAG 使用 LLM 生成知识图谱，通过对复杂信息进行文档分析、提取知识点，对比Baseline RAG（使用向量检索）显著提高了问答效果，通过图谱也增强了推理能力以及结果的可解释性。除了结合图的能力应用在文本数据，RAG 令人期待的还有多模态能力。

多模态 RAG能够处理各种数据类型，如图片、文本、表格、音频等，不仅仅是文本问答模式，多模态模型结合了不同模态，从而理解不同的数据，这会带来更大的应用想象空间，如企业数据中通过多模态RAG解读这样一份内部报告：分析其中文本内容，解读里面的图表、图片信息。现实中企业内部数据中大量信息也是通过图片、文本、视频等方式存储，多模态RAG搜索将大幅度提升了企业效率、释放数据生产力。