专栏名称: NVIDIA企业开发者社区

NVIDIA 英伟达开发者社区是NVIDIA GPU开发者交流平台，通过此平台可第一时间获取NVIDIA GPU 开发相关的新产品、新工具、线上/线下活动的资讯。

开发者新闻 | NVIDIA TensorRT 10.0 升级可用性、性能和 AI 模型支持

NVIDIA企业开发者社区 · 公众号 · · 2024-05-27 08:38

正文

NVIDIA TensorRT 10.0 升级可用性、性能和 AI 模型支持

NVIDIA 今天宣布最新发布的 NVIDIA TensorRT，一个用于高性能深度学习推理的 API 生态系统。该系统包括推理运行时和模型优化两大组件，为生产应用程序提供低延迟和高吞吐量的优化解决方案。

这篇文章概述了此版本的关键功能和升级，包括更容易的安装、更高的可用性、改进的性能以及更多本地支持的 AI 模型。

开发人员体验升级

得益于更新的 Debian 和 RPM 元包，使用 TensorRT 10.0 变得更加容易上手。例如，使用 >apt-get install tensorrt 或 pip install tensorrt 命令便可为 C++ 或 Python 安装所有相关的 TensorRT 库。

此外，Debug Tensors 是一个新添加的 API，用于在构建时将张量标记为调试张量。这样可以更容易地识别图形中出现的任何问题。在运行时，每次写入张量的值时，都会使用值、类型和维度调用一个用户定义的回调函数。

TensorRT 10.0 在 ONNX 解析器中包含工具，用于在调用时识别不受支持的节点，以便在 parse 失败时报告错误。如果节点位于 ONNX 本地函数中，则此错误报告将包含节点名称、节点类型、故障原因以及本地函数堆栈。您可以使用 getNbErrors 函数来查询这些错误的数量，并使用 getError函数来获取错误信息。

TensorRT 10.0 也是 Windows 开发的一个重要升级。Windows 开发人员现在可以利用版本兼容性、硬件前向兼容性、轻量级引擎和 Stable Diffusion 管道改进。

全文链接：