大模型快速部署、构建、微调工具：AIKit

项目简介

AIKit 是一个一站式商店，可快速开始托管、部署、构建和微调大型语言模型 (LLMs)。

AIKit 提供两个主要功能：

• 推理：AIKit 使用 LocalAI，支持广泛的推理能力和格式。LocalAI 提供了与 OpenAI API 兼容的直接替代 REST API，因此您可以使用任何 OpenAI API 兼容的客户端（例如 Kubectl AI、Chatbot-UI 等）向开源 ！

• 微调：AIKit 提供可扩展的微调接口。它支持 Unsloth，以实现快速、内存高效且轻松的微调体验。

特征

• 🐳 除了 Docker 之外，不需要 GPU、互联网接入或其他工具！

• 🤏 最小的图像大小，通过基于 distroless 的自定义图像减少漏洞并缩小攻击面

• 🎵 微调支持

• 🚀 易于使用的声明式配置用于推理和微调

• ✨ OpenAI API 兼容，可与任何 OpenAI API 兼容的客户端一起使用

• 📸 多模态模型支持

• 🖼️ 支持稳定扩散的图像生成

• 🦙 支持 GGUF ( llama )、GPTQ ( exllama 或 exllama2 )、EXL2 ( exllama2 ) 和 GGML ( llama-ggml ）和曼巴模型

• 🚢 Kubernetes 部署就绪

• 📦 支持单个图像的多个模型

• 🖥️ 支持使用 NVIDIA GPU 进行 GPU 加速推理

• 🔐 aikit 和预制模型的签名图像

• 🌈 支持非专有和自托管容器注册表来存储模型图像

快速开始

您可以在没有 GPU 的本地机器上快速开始使用 AIKit！

docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3:8bcurl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{    "model": "llama-3-8b-instruct",    "messages": [{"role": "user", "content": "explain kubernetes in a sentence"}]  }'

输出应类似于：

{"created":1713494426,"object":"chat.completion","id":"fce01ee0-7b5a-452d-8f98-b6cb406a1067","model":"llama-3-8b-instruct","choices":[{"index":0,"finish_reason":"stop","message":{"role":"assistant","content":"Kubernetes is an open-source container orchestration system that automates the deployment, scaling, and management of applications and services, allowing developers to focus on writing code rather than managing infrastructure."}}],"usage":{"prompt_tokens":0,"completion_tokens":0,"total_tokens":0}}

就是这样！🎉 API 与 OpenAI 兼容，因此这是任何 OpenAI API 兼容客户端的直接替代品。