技术博客|NVIDIA JetPack6.2 为Jetson Orin Nano和Jetson Orin NX模块引入超级模式

NVIDIA Jetson Orin Nano 超级开发者套件 的推出为小型边缘设备开启了 生成式 AI 的新时代。新的 超级模式 在开发者套件上实现了前所未有的生成式 AI 性能提升，最高可达 1.7 倍，使其成为最经济实惠的生成式 AI 超级计算机。

JetPack 6.2 现已支持 Jetson Orin Nano 和 Jetson Orin NX 生产模组的超级模式，可将生成式 AI 模型的性能提升高达 2 倍。现在，您可以为新的和现有的机器人和边缘 AI 应用释放更多价值并降低总体拥有成本。

本文讨论了 Super Mode 的详细信息，包括新的功率模式、Jetson Orin Nano 和 Orin NX 模组上热门生成式 AI 模型的基准测试、文档更新，以及对支持 Super Mode 的 NPN 合作伙伴的见解。

Jetson Orin Nano 和 Jetson Orin NX 系列上的新参考功率模式

JetPack 6.2 通过在 GPU、DLA 内存和 CPU 时钟上解锁更高的频率，提升 Jetson Orin Nano 和 Jetson Orin NX 系列的功耗。

Jetson Orin Nano 模组现提供 25W 模式和全新的无上限 MAXN SUPER 模式。同样，Jetson Orin NX 模组现在可以使用更高的 40W 参考功率模式以及不设上限的 MAXN SUPER 模式。

MAXN SUPER 是不设上限的功率模式，可为 CPU、GPU、DLA、PVA 和 SOC 引擎提供最高数量的核心数和时钟频率。在此模式下，如果模组总功率超过热设计功率（TDP）预算，系统会将模组调低频率，从而在保持热预算的同时降低性能。

我们强烈建议您构建自己的自定义功率模式，以便根据您的应用和需求，在功耗或热稳定性与性能之间找到适当的平衡。

表 2 比较了 Jetson Orin Nano 4GB 和 8GB 以及 Jetson Orin NX 8GB 和 16GB 在原始模式和 Super Mode 下的详细规格。

在使用新的功率模式时，请确保您产品的现有或新的散热设计能够适应新的功率模式规格。有关更多信息，请参阅更新的 Thermal Design Guide 。

更新了功耗估算器工具

功耗估算器工具是 NVIDIA 提供的一款功能强大的工具，可通过修改 GPU、CPU、DLA 上的核心、最大频率和负载级别等系统参数来创建自定义功耗配置文件和 nvpmodel 配置文件。该工具通过各种设置提供估计功耗，并可用于创建最佳参数设置，以在性能和功耗之间实现所需的平衡。

我们更新了 Power Estimator Tool 的超级模式。我们强烈建议您使用 Power Estimator Tool 并在实践中进行验证，然后再通过高性能应用程序进行部署。

提升热门生成式 AI 模型的性能

随着 JetPack 6.2 超级模式的引入，Jetson Orin Nano 和 Jetson Orin NX 模组可将推理性能提升高达 2 倍。我们对热门的大语言模型 (LLMs)、视觉语言模型 (VLMs) 和视觉转换器 (ViTs) 进行了基准测试。

大语言模型

以下图表和表格显示了 Llama3.1 8B、Qwen2.5 7B 和 Gemma2 2B 等热门 LLM 的超模性能基准测试。

图 1： 使用 Super Mode 可提升 LLM 的性能

DNR 意味着模块上的内存不足以运行特定模型。模型性能将受到节流行为的影响。

在下表中，LLM 生成性能（每秒令牌数）是使用 MLC API 通过 INT4 量化测量的。

表 3 显示了搭载 JetPack 6.2 的 Jetson Orin Nano 4GB 上的 LLM 性能提升。

表 4 显示了搭载 JetPack 6.2 的 Jetson Orin Nano 8GB 上的 LLM 性能提升。

表 5 显示了搭载 JetPack 6.2 的 Jetson Orin NX 8GB 上的 LLM 性能提升。

表 6 显示了搭载 JetPack 6.2 的 Jetson Orin NX 16GB 上的 LLM 性能提升。

视觉语言模型

以下图表和表格显示了热门 VLM (例如 VILA1.5 8B、LLAVA1.6 7B 和 Qwen2 VL 2B) 的超模性能基准测试。

DNR 意味着模块上的内存不足以运行特定模型。模型性能将受到节流行为的影响。

表 7 显示了搭载 JetPack 6.2 的 Jetson Orin Nano 4GB 的 VLM 性能提升情况。

表 8 显示了搭载 JetPack 6.2 的 Jetson Orin Nano 8GB 上的 VLM 性能提升。

表 9 显示搭载 JetPack 6.2 的 Jetson Orin NX 8GB 上的 VLM 性能提升。

表 10 显示配备 JetPack 6.2 的 Jetson Orin NX 16GB 上的 VLM 性能提升。

所有 VILA 和 LLAVA 模型均使用 MLC 以 INT4 精度运行，而其余模型则使用 Hugging Face Transformers 以 FP4 精度运行。

视觉 Transformer 模型

以下图表和表格显示了 CLIP、DINO 和 SAM2 等热门 ViTs 的 Super Mode 性能基准测试。

DNR 意味着模块上的内存不足以运行特定模型。模型性能将受到节流行为的影响。

表 11 显示搭载 JetPack 6.2 的 Jetson Orin Nano 4GB 的 ViT 性能提升情况。

表 12 显示搭载 JetPack 6.2 的 Jetson Orin Nano 8GB 的 ViT 性能提升情况。

表 13 显示配备 JetPack 6.2 的 Jetson Orin NX 8GB 上的 ViT 性能提升。

表 14 显示配备 JetPack 6.2 的 Jetson Orin NX 16GB 上的 ViT 性能提升。

所有 ViT 模型均使用 NVIDIA TensorRT 以 FP16 精度运行，且测量以 FPS 进行。

使用 NVIDIA Jetson Orin Nano 和 NVIDIA Jetson Orin NX 的 JetPack 6.2 入门

NVIDIA Jetson 生态系统提供了多种使用 JetPack 镜像刷写开发者套件和生产模组的方式。

要在 Jetson Orin Nano 开发者套件或模组上安装 JetPack 6.2，请使用以下方法之一：

• JetPack SDK 页面中的 SD-Card 镜像 。

• SDK Manager ，用于 根据下载和安装说明 进行刷写。

• 根据 刷写支持 ，刷写 bootloader、kernel 和 root file system 的脚本。

新的刷写配置

新的电源模式仅适用于新的刷写配置。默认刷写配置未发生变化。要启用新的电源模式，您必须在刷写时使用新的刷写配置。

以下是用于刷写的新刷写配置：

jetson-orin-nano-devkit-super.conf

刷写或更新到 JetPack 6.2 后，运行以下命令以启动新提供的超级模式。

Jetson Orin Nano 模组上的 MAXN SUPER 模式：

sudo nvpmodel -m 2

Jetson Orin NX 模组上的 MAXN SUPER 模式：

sudo nvpmodel -m 0

您还可以从页面右上角的电源模式菜单中选择 MAXN SUPER 和其他电源模式。

图 4：源模式选择菜单