【[117星]LLaMA Box：基于C++实现的高性能LM推理服务器，兼容OpenAI API，为大语言模型推理提供强大支持。亮点：1. 支持多种模型，涵盖LLaMA、Stable Diffusion等；2. 多平台支持，适配NVIDIA、AMD、Intel等多种硬件；3. 高效的RPC服务器模式，可分布式部署模型推理任务】
'LLaMA Box is an LM inference server (pure API, w/o frontend assets) based on llama.cpp and stable-diffusion.cpp.'
GitHub: github.com/gpustack/llama-box
#大语言模型# #推理服务器# #多平台支持# #AI创造营#
'LLaMA Box is an LM inference server (pure API, w/o frontend assets) based on llama.cpp and stable-diffusion.cpp.'
GitHub: github.com/gpustack/llama-box
#大语言模型# #推理服务器# #多平台支持# #AI创造营#
