专栏名称: GitHubStore
分享有意思的开源项目
目录
相关文章推荐
顽主杯实盘大赛  ·  大娃封神一战 ·  2 天前  
顽主杯实盘大赛  ·  大娃封神一战 ·  2 天前  
51好读  ›  专栏  ›  GitHubStore

Easy-RAG:支持知识图谱提取解析和向量数据库应用的检索增强生成系统,

GitHubStore  · 公众号  ·  · 2024-08-18 17:39

正文

项目简介

一个适合学习、使用、自主扩展的RAG【检索增强生成】系统!

1、目前已有的功能


知识库(目前仅支持txt\csv\pdf\md\doc\docx\mp3\mp4\wav\excel\格式数据):

1、知识库的创建(目前仅支持Chroma\Faiss)

2、知识库的更新

3、删除知识库中某个文件

4、删除知识库

5、向量化知识库

6、支持音频视频的语音转文本然后向量化

语音转文本 使用的 funasr ,第一次启动时,会从魔塔下载模型,可能会慢一些,之后会自动加载模型


chat

1、支持纯大模型聊天多轮

2、支持知识库问答 ["复杂召回方式", "简单召回方式","rerank"]

3、通过使用rerank重新排序来提高检索效率

本次rerank 使用了bge-reranker-large 模型,需要下载到本地,然后再 rag/rerank.py中配置路径

模型地址:https://hf-mirror.com/BAAI/bge-reranker-large


安装使用

   Ollma安装,在如下网址选择适合你机器的ollama 安装包,傻瓜式安装即可
https://ollama.com/download Ollama 安装模型,本次直接安装我们需要的两个 cmd中执行
ollama run qwen2:7b ollama run mofanke/acge_text_embedding:latest
下载bge-reranker-large 模型然后在 rag/rerank.py中配置路径
https://hf-mirror.com/BAAI/bge-reranker-large
选择你想使用的向量数据库 目前仅支持(Chroma和Faiss)
在 Config/config.py中配置你想用的 向量数据库 构造python环境
conda create -n Easy-RAG python=3.10.9 conda activate Easy-RAG
项目开发使用的 python3.10.9 经测试 pyhon3.8以上皆可使用
git clone https://github.com/yuntianhe2014/Easy-RAG.git 安装依赖
pip3 install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple 项目启动
python webui.py
知识图谱时时提取工具 python graph_demo_ui.py



项目链接

https://github.com/yuntianhe2014/Easy-RAG







请到「今天看啥」查看全文


推荐文章
顽主杯实盘大赛  ·  大娃封神一战
2 天前
顽主杯实盘大赛  ·  大娃封神一战
2 天前
美国高中留学  ·  群魔乱舞?美国高中竟划分5类人群!
8 年前
深夜书屋  ·  深夜书单| 败给你的黑色幽默!
8 年前
心理语录  ·  心有多软,壳就要有多硬!
7 年前