Native RAG on MacOS and Apple Silicon with MLX：支持多种开源模型的RAG聊天界面

项目简介

该存储库展示了检索增强生成（RAG）聊天界面，支持多种开源模型。

特征

通过 URL 与您的数据聊天： doc(x), pdf, txt 和 YouTube 视频。

• 多语言：中文🇨🇳、英语🏴、法语🇫🇷、德语🇩🇪、印地语🇮🇳、意大利语🇮🇹、日语🇯🇵、韩语🇰🇷、西班牙语🇪🇸、土耳其语🇹🇷和越南语🇻🇳

• 轻松集成：轻松集成任何 HuggingFace 和 MLX 兼容的开源模型。

安装与使用

轻松设置

• Install Pip

• 安装： pip install chat-with-mlx

• 注意：如果您想添加自己的模型（稍后我将让您在 UI 中添加），这种设置方式确实很困难，但这是测试应用程序的快速方法。

手动管道安装

git clone https://github.com/qnguyen3/chat-with-mlx.gitcd chat-with-mlxpython -m venv .venvsource .venv/bin/activatepip install -e .

手动 Conda 安装

git clone https://github.com/qnguyen3/chat-with-mlx.gitcd chat-with-mlxconda create -n mlx-chat python=3.11conda activate mlx-chatpip install -e .

用法

• 启动应用程序： chat-with-mlx

支持型号

• Google Gemma-7b-it, Gemma-2b-it

• Mistral-7B-Instruct, OpenHermes-2.5-Mistral-7B, NousHermes-2-Mistral-7B-DPO
  

• Mixtral-8x7B-Instruct-v0.1, Nous-Hermes-2-Mixtral-8x7B-DPO
  

• Quyen-SE (0.5B), Quyen (4B)

• StableLM 2 Zephyr (1.6B)

• Vistral-7B-Chat, VBD-Llama2-7b-chat, vinallama-7b-chat
  

添加您自己的模型

解决方案1

此解决方案只需要您在 chat_with_mlx/models/configs 中使用简单的 .yaml 配置文件添加自己的模型

examlple.yaml :

original_repo: google/gemma-2b-it # The original HuggingFace Repo, this helps with displayingmlx-repo: mlx-community/quantized-gemma-2b-it # The MLX models Repo, most are available through `mlx-community`quantize: 4bit # Optional: [4bit, 8bit]default_language: multi # Optional: [en, es, zh, vi, multi]

添加 .yaml 配置后，您可以在应用程序中加载模型（现在您需要通过终端/CLI 跟踪下载）

解决方案2

与解决方案1相同。有时，用于下载模型的 download_snapshot 方法速度很慢，您想自己下载。

添加.yaml配置后，您可以自行下载repo并将其添加到 chat_with_mlx/models/download 中。文件夹名称必须与不带用户名的原始存储库名称相同（因此 google/gemma-2b-it -> gemma-2b-it ）。

一个完整的模型应该有以下文件：

• model.safetensors

• config.json

• merges.txt

• model.safetensors.index.json

• special_tokens_map.json - 这是根据型号可选的

• tokenizer_config.json

• tokenizer.json