技术博客 | 使用新的 Phi-3 和 Granite 代码模型系列创建内容、对话和代码

得益于能够理解上下文和原因以生成高质量内容和高精度答案的突破性基础模型的不断涌现，生成式 AI 正在彻底改变各行各业的几乎每个用例。

NVIDIA 不断优化和发布社区、合作伙伴和 NVIDIA 构建的模型。本周发布的版本包含两个系列，即 Phi-3 和 Granite Code，这两个系列都是 NVIDIA AI 基础模型 的一部分。

Microsoft 的 Phi-3 系列包含专为在不影响计算效率的情况下实现最佳性能而设计的小型语言模型 (SLM).其强大的推理和逻辑能力使其成为内容生成、总结、问答和情感分析任务的理想选择。

Phi-3 语言系列在 NVIDIA API 目录 中包括以下内容：

• 请查看 Phi-3-medium 示例。

• Phi-3 – small（具有 短 和 长 上下文）

• 请访问 Phi-3-mini 。

Phi-3 系列还包括 Phi-3 Vision ，这是一个 42 亿的多模态模型，旨在处理和解释文本和视觉数据。该模型支持高达 128000 个令牌，能够理解和分析图像中广泛而复杂的视觉元素，如图表、图形和表格等。

图 1：Phi-3 Vision 模型示例，该模型根据用户提示生成响应

Granite Code 由 IBM 发布的模型是一个开放式编程模型，旨在协助完成各种编码任务。这些模型使用 116 种编程语言进行训练，可以生成代码示例、识别和修复错误，并为代码段提供说明。

这些模型在编码基准测试方面展示了先进的性能，并根据许可数据进行训练，因此适合企业使用。

这些模型针对延迟和吞吐量进行了优化，借助 NVIDIA TensorRT-LLM 。它们还加入了由 NVIDIA Omniverse 提供的 NVIDIA NIM 微服务，以简化性能优化的部署和 NVIDIA AI 基础模型 的自定义模型。通过 NIM，10 – 100 倍的企业应用开发者能够更方便地为 AI 转型做出贡献。

NVIDIA 正在与领先的模型构建商合作，在完全加速的堆栈上为其模型提供支持。其中包括以下热门模型：

• M eta Llama 3 70B

• Llama 3 8B

• 我们支持的模型包括 Gemma 2B 。