原文：https://zhuanlan.zhihu.com/p/695939077
内容来自于《NVIDIA DGX SuperPOD: Next Generation Scalable Infrastructure for AI Leadership》白皮书。
NVIDIA DGX SuperPOD™与NVIDIA DGX™ H100系统是下一代数据中心人工智能（AI）架构。旨在提供AI模型训练、推理、高性能计算（HPC）和混合应用中的高级计算挑战所需的计算性能水平，以提高预测性能和解决方案的时间。DGX SuperPOD基于NVIDIA在内部研究中构建的基础设施，并旨在解决当今最具挑战性的计算问题。基于DGX SuperPOD架构的系统已部署在全球客户数据中心和云服务提供商中。为了实现最大的可扩展性，DGX SuperPOD采用了几项关键的NVIDIA技术，包括：
- NVIDIA DGX H100系统-为人工智能和高性能计算提供最强大的计算构建模块。
- NVIDIA NDR（400 Gbps）InfiniBand-提供最高性能、最低延迟和最可扩展的网络互连。
- NVIDIA NVLink®技术-通过NVLink层连接GPU，为最苛刻的通信模式提供前所未有的性能。
DGX SuperPOD架构由NVIDIA 组件构成解决方案，包括NVIDIA Base Command™、NVIDIA AI Enterprise、CUDA和NVIDIA Magnum IO™。这些技术有助于保持系统在最高的可用性、性能和NVIDIA企业支持（NVEX）下平稳运行，确保所有组件和应用程序正常运行。
DGX SuperPOD的关键组件
DGX SuperPOD架构旨在提供最佳的模型训练和存储性能，广泛应用于企业、高等教育、研究和公共部门等客户。使用SUs，系统部署时间从几个月缩短到几周。利用DGX SuperPOD设计可以减少下一代模型和应用的解决方案和上市时间。
NVIDIA DGX H100 系统
DGX H100 系统比 DGX A100 系统 更优秀的点：
- 以32petaFLOPS的FP8精度提供高达9倍的性能。
- 双Intel® Xeon® Platinum 8480C处理器，总共112个核心，2.00 GHz（基频），3.80 GHz（最大增频），支持PCIe 5.0，具有2 TB的DDR5内存。
- 网络和存储速度提高2倍，具有四个OSFP端口，提供八个单端口的NVIDIA ConnectX-7 VPI，以及两个双端口QSFP112 NVIDIA ConnectX-7 VPI。
- 每个GPU的带宽提高1.5倍，达到900 GBps，采用第四代NVIDIA NVLink技术。
- 总共640 GB的聚合HBM3内存，聚合内存带宽达到24 TB/s，比DGX A100系统提高1.5倍。
NVIDIA InfiniBand技术
InfiniBand是一种高性能、低延迟、支持RDMA的网络技术，经过20多年的验证可以提供最佳的节点间网络性能。由InfiniBand贸易协会（IBTA）推动，它不断发展并引领数据中心网络性能，最新一代的InfiniBand，NDR，每个方向的峰值速度为400 Gbps。它与之前的InfiniBand规范兼容。InfiniBand不仅有极佳的性能，还提供了其他优化性能方式，包括自适应路由（AR），具有SHARP的集体通信，具有SHIELD的动态网络修复，并支持多种网络拓扑，包括fat-tree，Dragonfly和多维Torus，以构建丰富的布局和计算系统。
运行时（Runtime）和系统管理
DGX SuperPOD RA代表了构建高性能数据中心的最佳实践。这些系统的呈现方式对于客户和用户来说是灵活的。NVIDIA Base Command是一款管理软件，用于DGX SuperPOD的部署。
DGX SuperPOD可以部署在本地，客户完全拥有和管理硬件，就像传统系统一样，它可以在客户的数据中心内或在商业数据中心中进行。同时，客户可以选择通过NVIDIA NGC™使用安全的云原生界面来操作系统。
组件
硬件组件
软件组件
设计原则
DGX SuperPOD的设计旨在
通过紧密耦合的配置来最小化系统瓶颈，以提供最佳性能和应用可扩展性。
每个子系统都经过精心设计以实现这一目标。此外，整体设计具有灵活性，可以根据数据中心的要求进行定制，以更好地集成到现有数据中心中。
系统设计
DGX SuperPOD针对AI、HPC和混合应用集群进行了优化：
- 基于每个SUs的32个DGX H100系统的模块化架构。
- 完全测试过的系统可扩展到四个SUs，但可以根据客户需求构建更大规模的部署。
- 机架设计可以支持每个机架的一个、两个或四个DGX H100系统，因此机架布局可以根据不同的数据中心需求进行修改。
- 已经通过认证的，可在DGX SuperPOD环境中使用的合作伙伴存储。
- NVIDIA企业支持（NVES）提供全面的系统支持，包括计算、存储、网络和软件。
计算特性
存储特性
存储网络提供高带宽的共享存储。有以下特点
- 存算分离、它与计算网络相互独立，以最大化存储和应用性能。
- 为每个DGX H100系统提供至少40 GBps的单节点带宽。
- 存储通过InfiniBand提供，并利用RDMA提供最大性能并最小化CPU开销。
- 它灵活且可按需扩展以满足特定的容量和带宽要求。
- 可访问的管理节点提供对共享存储的访问。
带内管理网络
带外管理网络
OOB管理网络连接所有基本管理控制器（BMC）端口，以及其他应与系统用户物理隔离的设备。
外部存储需求
DGX SuperPOD计算架构必须与高性能、平衡的存储系统配对，以最大化整体系统性能。DGX SuperPOD设计为使用两个独立的存储系统，高性能存储（HPS）和用户存储，针对吞吐量、并行I/O以及更高的IOPS和元数据工作负载进行了优化。
高性能存储
HPS必须提供：
- 高性能、可靠的、针对多线程读写操作进行优化的POSIX风格文件系统。
- 原生InfiniBand支持。
- 本地系统内存用于透明缓存数据。
- 透明地利用本地磁盘缓存更大的数据集。
用户存储
用户存储必须：
- 针对高元数据性能、IOPS和关键企业功能（如检查点）进行设计。这与HPS不同，HPS针对并行I/O和大容量进行了优化。
- 通过以太网进行通信，以提供存储的备用路径，以便在存储网络或HPS故障时，管理员仍然可以并行访问和管理节点。
DGX SuperPOD架构
DGX SuperPOD架构是DGX系统、InfiniBand和以太网、管理节点和存储的组合。在这个例子中，每个机架的功耗超过40kW。机架布局可以根据本地数据中心的要求进行调整，例如每个机架的最大功率和DGX系统与支持设备之间的机架布局，以满足电力和冷却分配的本地需求。下图显示了单个SU的机架布局。
下图显示了一个示例的管理机架配置，包括网络交换机、管理服务器、存储阵列和UFM设备。大小和数量将根据使用的模型而变化。
该参考架构专注于具有128个DGX节点的4个SU单元。DGX SuperPOD可以扩展到更大的配置，包括64个SU单元和2000多个DGX H100节点,详细查看下表。
网络结构
SU的构建系统提供最高效的设计，如果不同的节点计数是由于预算限制、数据中心限制或其他需求而需要，结构应为设计用于支持完整的 SU，包括叶开关和叶脊电缆，并留下这些节点所在的未使用的结构。这将确保最佳的流量路由和确保结构所有部分的性能一致。
DGX SuperPOD配置使用四个网络结构：
- 计算网络
- 存储网络
- 带内管理网络
- 带外管理网络。
每个网络在本节中都有详细介绍。
下图显示了DGX H100 CPU托盘背面的端口和连接性。
中间的计算网络端口使用双端口收发器来访问所有八个GPU。每对带内管理和存储端口为DGX H100系统提供了并行路径，以提高性能
。
OOB端口用于BMC访问。（BMC端口旁边的LAN端口DGX SuperPOD配置中不使用）
计算结构
下图显示了完整的127节点DGX SuperPOD的计算布局。每组32个节点都是1：1收敛的。DGX H100系统的每个链路的流量始终与SU中的其他31个节点相距一跳。节点之间或链路之间的流量经过spine层。
下表显示了不同SU大小的计算布局所需的电缆和交换机数量。
存储结构
存储网络采用了InfiniBand网络结构，这对于最大带宽是必不可少的。这是因为DGX SuperPOD每个节点的I/O必须超过40 GBps。
高带宽要求与先进的网络管理功能，如拥塞控制和AR，为存储网络提供了显着的优势。
存储网络使用MQM9700-NS2F交换机。存储设备与上行端口的比例为1:1。DGX H100系统连接略微超额订阅，比例接近4:3，根据需要进行调整，以实现更多的存储灵活性，以满足成本和性能的要求。
带内管理
带内管理网络提供了几个关键功能：
