专栏名称: 顶层架构领域
专注核心架构领域知识、经典干货总结、技术领域趋势跟踪,以通俗易懂的方式传播——复杂的事简单化
目录
相关文章推荐
FreeBuf  ·  VPN漏洞成为攻击组织的关键工具 ·  2 天前  
看雪学苑  ·  Linux内核SLUB机制介绍 ·  3 天前  
51好读  ›  专栏  ›  顶层架构领域

Easy-RAG 一个适合学习、使用、自主扩展的检索增强生成系统

顶层架构领域  · 公众号  ·  · 2024-08-20 20:00

正文

点击上方 蓝色 顶层架构领域 ”,关注精彩与你分享

当今时代,人工智能技术的飞速发展为各行各业带来了革命性的变化。在自然语言处理领域,检索增强生成(RAG)系统因其卓越的性能和广泛的应用前景,正成为研究和应用的热点。今天,我要向您推荐的是一个创新的系统——Easy-RAG,它不仅 易于学习、使用,还具备自主扩展的能力。 希望能让您对RAG能更近一步的了解。

一、Easy-RAG 系统概览

Easy-RAG 是一个开放源代码的检索增强生成 (RAG) 系统, 旨在提供一种简便的方式来学习和使用 RAG 技术,并支持用户自主扩展系统功能。 该系统适用于希望深入了解和应用 RAG 技术的研究人员和开发者,无论是在学术研究还是在商业开发中都能提供强有力的支持。

二、功能特点

Easy-RAG 的功能特点主要包括:
知识库支持 :目前支持 txt、csv、pdf 等格式的文件作为知识库,并提供知识库的创建、更新、删除等功能。
聊天功能 :支持纯大模型聊天多轮,以及知识库问答,提供复杂召回方式、简单召回方式和 rerank重新排序来提高检索效率 搜索方式。
语音转文本 :支持音频视频的语音转文本然后向量化,使用的 funasr 模型,可在首次启动时从魔塔下载模型。
持续更新计划 :计划后续支持 Elasticsearch、Milvus、MongoDB 等向量数据,以及添加语音回答输出和问题路由知识库的功能。

三、项目结构

Easy-RAG 的项目结构包括:
  1. Chroma_db(存储 Chroma 向量数据的文件夹)
  2. Ollama_api(以 api 方式与 ollama 交互的代码)
  3. embedding(用于文件向量化处理的代码)
  4. rag(存储 rag 操作的代码)等部分

四、安装与使用

Easy-RAG 的安装和使用相对简单,可以通过 Ollama 安装包进行安装,并通过简单的命令行操作来部署所需的大模型和模型。具体的安装步骤包括下载 Ollama 安装包,运行相应的命令来安装所需的模型,并在配置文件中指定 rerank 模型的路径。
1、Ollma安装,在如下网址选择适合你机器的ollama 安装包
https://ollama.com/download
2、 Ollama 安装模型,直接安装我们需要的两个cmd中执行
ollama run qwen2:7b

ollama run mofanke






请到「今天看啥」查看全文