专栏名称: GitHubStore
分享有意思的开源项目
目录
相关文章推荐
南方人物周刊  ·  创造历史,哪吒怎么能火成这样? ·  昨天  
南方人物周刊  ·  科幻,正成为写作者最大的风口 ·  昨天  
每日人物  ·  塌房大主播,集体“复活” ·  昨天  
每日人物  ·  北京国贸打工人,涌向“穷鬼购物天堂” ·  3 天前  
51好读  ›  专栏  ›  GitHubStore

微软推出RAG的新方法:LazyGraphRAG

GitHubStore  · 公众号  ·  · 2024-11-26 15:30

主要观点总结

微软推出了新的RAG方法:LazyGraphRAG,旨在利用LLMs从非结构化文本中提取结构化数据。该方法具有低成本、高准确率和高查询效率的特点。

关键观点总结

关键观点1: 核心优势

LazyGraphRAG的成本非常低,数据索引成本只有完整GraphRAG的0.1%,同时生成结果的准确率、查询效率很高。

关键观点2: 性能表现

LazyGraphRAG在索引成本、本地查询、全局查询和综合性能上表现优秀,超越了其他竞争方法。

关键观点3: 技术特点

LazyGraphRAG采用轻量级索引,结合NLP中的名词短语提取技术,通过图统计方法优化概念图,并提取层次化的社区结构。它结合了“最佳优先搜索”和“广度优先搜索”的特点,以迭代深化的方式进行查询处理。

关键观点4: 使用指南

用户可以通过解决方案加速器包开始使用GraphRAG系统。该存储库提供了一种使用知识图内存结构来增强LLM输出的方法。需要注意的是,提供的代码仅供演示,并非Microsoft官方支持的产品。

关键观点5: 项目链接与合作

项目链接为https://github.com/microsoft/graphrag和https://www.microsoft.com/en-us/research/blog/lazygraphrag-setting-a-new-standard-for-quality-and-cost/。用户可以通过扫码加入技术交流群,合作时请注明关注「GitHubStore」公众号。


正文

项目简介

微软推出了RAG的新方法:LazyGraphRAG,核心是成本非常低,数据索引成本只有完整GraphRAG的0.1%,生成结果的准确率、查询效率很高。


GraphRAG 项目是一个数据管道和转换套件,旨在利用LLMs的强大功能从非结构化文本中提取有意义的结构化数据。


要详细了解 GraphRAG 以及如何使用它来增强LLM推理私人数据的能力,请访问Microsoft Research 博客文章。


性能
1、索引成本,与向量RAG持平,为GraphRAG的0.1%

2、在本地查询上,与向量RAG相当的查询成本下,优于所有方法,包括长上下文向量RAG、GraphRAG DRIFT搜索、GraphRAG本地搜索

3、在全局查询上,质量与GraphRAG全局搜索相当,查询成本降低了700多倍

4、综合性能上,用GraphRAG全局搜索4%的查询成本,就在本地和全局查询类型上超越所有竞争方法,包括在C2级别的GraphRAG全局搜索

LazyGraphRAG不需要对源数据进行预先总结,避免了过高的前期索引成本

它采用轻量级索引,在这个阶段不使用LLM进行实体和关系总结,而是利用NLP中的名词短语提取技术来识别概念及共现关系,简单提取文本中的关键概念和它们之间的关系,通过图统计方法优化概念图,并提取层次化的社区结构,然后结合了"最佳优先搜索"和"广度优 先搜索"的特点,以迭代深化的方式进行查询处理,做到查询准确且成本可控


快速开始

要开始使用 GraphRAG 系统,我们建议尝试解决方案加速器包。这为 Azure 资源提供了用户友好的端到端体验。


存储库指南

该存储库提供了一种使用知识图内存结构来增强LLM输出的方法。请注意,提供的代码仅供演示,并非 Microsoft 官方支持的产品。



项目链接

https://github.com/microsoft/graphrag

https://www.microsoft.com/en-us/research/blog/lazygraphrag-setting-a-new-standard-for-quality-and-cost/

扫码 加入技术交流群,备注







请到「今天看啥」查看全文


推荐文章
南方人物周刊  ·  创造历史,哪吒怎么能火成这样?
昨天
南方人物周刊  ·  科幻,正成为写作者最大的风口
昨天
每日人物  ·  塌房大主播,集体“复活”
昨天
哈哈搞笑视频  ·  这首老歌,20年没听了!
8 年前
张佳玮写字的地方  ·  爱情故事
7 年前