【vllm-ascend：让大模型在Ascend芯片上高效运行的-20250211214431

【vllm-ascend：让大模型在Ascend芯片上高效运行的开源插件。亮点：1. 支持多种主流大模型架构，如Transformer、MoE等；2. 优化性能，显著提升推理速度；3. 社区维护，持续更新与改进】
'vLLM Ascend plugin: A backend plugin for running vLLM on the Ascend NPU'
GitHub: github.com/vllm-project/vllm-ascend
#大模型# #Ascend芯片# #模型优化# #AI创造营#