一个Llama 2的WebUI

深度学习与图网络 · 公众号 · · 2023-07-30 22:04

正文

一个Llama 2的WebUI，类似于Stable Diffusion的webui，设计简陋，但功能还可以，不仅有聊天，还有虚拟角色的功能，并且可以运行在Google Colabs上。

用于运行 LLaMA、llama.cpp、GPT-J、Pythia、OPT 和 GALACTICA 等大型语言模型的 gradio Web UI。

它的目标是成为文本生成领域的 AUTOMATIC1111/stable-diffusion-webui。

3 种界面模式：默认、笔记本和聊天
多模型后端：tranformers、llama.cpp、AutoGPTQ、GPTQ-for-LLaMa、ExLlama、RWKV、FlexGen
下拉菜单可在不同型号之间快速切换
LoRA：动态加载和卸载 LoRA、同时加载多个 LoRA、训练新的 LoRA
聊天模式精准指令模板，包括Alpaca、Vicuna、Open Assistant、Dolly、Koala、ChatGLM、MOSS、RWKV-Raven、Galoida、StableLM、WizardLM、Baize、Ziya、Chinese-Vicuna、MPT、INCITE、Wizard Mega、KoAlpaca、 Vigogne、Bactrian、h2o 和 OpenBuddy
多模式管道，包括 LLaVA 和 MiniGPT-4
通过bitsandbytes进行8位和4位推断
transformers 模型的 CPU 模式
DeepSpeed ZeRO-3 推理
扩展
自定义聊天角色
非常高效的文本流
使用 LaTeX 渲染的 Markdown 输出，例如与 GALACTICA 一起使用
GPT-4chan 的良好 HTML 输出
API，包括用于 websocket 流的端点（参见示例）