GPU服务器支持的“卡数”由哪些因素决定？（上篇）

前言，GPU服务器的核心参数就是“能装”多少张GPU卡，我们常见的有4U8卡、4U10卡、4U16卡、4U20卡、6U10卡等，前两天在成都 Intel IPDC上看到了变态的6U32卡（不排除概念机的可能，暂未看到有6U32机型的落地案例），大家直观感受是“空间 ”足够就ok，除了GPU服务器的机箱“空间 ” 外，想“装下”更多GPU，制约因素还有那些？下面我们从 GPU卡尺寸、PCIe卡参数、电源功率、设备散热和兼容性 5个方面展开聊聊。

一、GPU卡的“尺寸 ”和机箱空间

市面上常见的GPU卡尺寸有双宽全高全长、双宽全高半长、单卡半高半长等多种形态。怎么理解GPU卡的“宽 ”、“高”和“长”呢？我做了一个图供大家了解。

GPU卡长宽高的数值：

• ①半高：不超过68.9mm、 全高：不超过111.15mm；

• ② 半长：不超过167.65mm、 全长：不超过312.00mm；

• ③ 单宽，即单插槽：不超过20mm、 双宽，即双插槽：不超过40mm；

• ④全高全长的简称FHFL（full height full length）、 半高半长的简称HHHL（half height half length）；

举例1：涡轮版的RTX4090尺寸，双宽全高全长的参数如下：

举例2：英伟达T4 GPU的尺寸如下，为单宽半高半长

不同的机箱举例：标准的4U8卡、4U10卡和4U20卡（单宽卡）的GPU服务器示意图如下，八卡在空间上会为其他的PCIe插卡留出空间，比如网卡、Raid卡等，而十卡则会占满标准的PCIe槽位和空间，网卡的话通常需要用小尺寸的OCP卡或者板载网卡、4U20卡虽然数量看着挺多但是受空间所限仅支持单卡的GPU；

二、PCIe的资源-槽位数量和版本

以英伟达RTX 4090为例，涡轮版需要PCIe4.0 x16，八卡就是八倍的关系，我们知道决定服务器的PCIe资源的除了CPU还有主板，主板的设计是CPU的PCIe能否全部发挥的关键，当然还有PCIe SW芯片，主板设计时通过集成PCIe SW芯片能够扩展出更多的PCIe资源，提升整机的扩展性。我们以目前主流的2个机型进行举例：

1、基于AMD Milan的超微4U8卡服务器

怎么能够保证8张卡有足够的PCIe资源呢？分析如下：

• ①、双路的AMD milan平台因为中间通过三条xGMI，整机可提供128x2-（32x3）=160条PCIE lane

• ②、8张GPU占用了16x8=128条PCIE通道后，还有32条供其他网卡等部件使用；

• ③、GPU直通架构的优劣势：优势是 成本比PCIe SW的方案产品成本更低，且 GPU到CPU独享x16，CPU-GPU通讯性能更优，劣势是