开发者新闻 | 使用 NVIDIA TensorRT-LLM 调整和部署 LoRA LLM

全文链接：

https://developer.nvidia.com/blog/tune-and-deploy-lora-llms-with-nvidia-tensorrt-llm/

大型语言模型 (LLM) 已经展示了非凡的能力，从处理复杂的编码任务到编写引人注目的故事，再到翻译自然语言。企业正在定制这些模型，以获得更大的特定于应用程序的有效性，从而为最终用户提供更高的准确性和更好的响应。

然而，为特定任务定制 LLM 可能会导致模型“忘记”先前学习的任务。这被称为灾难性遗忘。因此，当企业将 LLM 应用到其应用程序中时，有必要对LLM 在原有任务和新学习的任务上进行评估，不断优化模型以提供更好的体验。这意味着在定制模型上运行评估需要重新运行基础和校准评估，以检测任何潜在的回归。

为了简化 LLM 的评估，NVIDIA NeMo 团队宣布了 NeMo Evaluator 的早期访问计划，这是一种提供自动基准测试功能的云原生微服务。它使用一套多样化的、精心策划的学术基准、客户提供的基准或 LLM-as-a-judge 来评估最先进的基础模型和定制模型。