2U 4节点Xeon SP服务器设计：扩展性与散热的权衡

差不多伴随着 Xeon SP 这一代，我看到 2U 4 节点服务器在结构设计上出现两个分支：

a． 传统的驱动器前置，节点从后端抽换；

b． “盘 - 节点一体”前置，网络、 PCIe I/O 走机箱后端。

为什么出现这种分支，它们各有什么好处，又面临哪些限制呢？这就是我在本文中要跟大家讨论的。

首先更正一点，在昨天的《 2U 4 节点 Xeon SP 服务器 ( 上 ) ： PowerEdge C6420 更受重视 》一文中，有朋友留言“ XXV710 支持 iWARP 的驱动 i40iw 已经有了”，不知 Intel 还会不会有专门的新款 25GbE 网卡控制器出来？

另外在最后一张照片中出现的白色 PCIe 扩展卡连接器，也有内行朋友认出是 OCP 规范定义的 Mezz （网卡） 连接器。如下图：

固定在节点主板上那块就是 OCP Mezz 卡，使 C6420 继续带有一定互联网 / 云计算的风格。在它的上方还可以支持 另一块 PCIe Mezz 扩展卡，除了网卡之外，这个位置应该还可以通过转接套件来支持 mini PERC RAID 卡 。

除了 M.2 SSD 启动盘 之外，每个 C6420 节点 还可以支持 3 块 PCIe 扩展卡 （含 SAS RAID 卡 /HBA ）。

此外，该 2U 4 节点服务器支持的盘位，可以有以下几种选择：

- 24 x 2.5 英寸直通背板（每节点 6 个 SAS/SATA 驱动器）；

- 24 x 2.5 英寸每节点 12 盘（ C6400 机箱中配 2 个节点，偏存储应用）；

- 24 x 2.5 英寸每节点 2 个 SAS/SATA/NVMe + 4 个 SAS/SATA ；

- 12 个 3.5 英寸直通背板（每节点 3 个 SAS/SATA 大盘）；

- 无背板前面板无驱动器。

也许有朋友注意到，还有的 2U 4 节点服务器可以支持全部 24 个 NVMe SSD 的配置，也就是每节点 6 个。那么这里面有什么讲究吗？

1 、线缆连接复杂度

传统方式下，每个 SATA 接口的信号线是 7pin ，如果每节点 6 块盘总线缆 pin 数大约是 42 。比这再多一点走线负担也还好。

这台 PowerEdge C6420 使用的 SATA 连接器 与 R940 背板和 R640 （详见：《 Dell PowerEdge R640 ： NVMe 直连、 NDC 网卡、 PERC10 一览 》）上的 宽端口 PCIe （ x8 ）物理外形差不多 。这样一束线缆也能满足 SATA 硬盘 /SSD 直通连接的需求，如果换成 SASRAID 卡 /HBA ， x4/x8 lane 连接到背板的复杂度与之类似。

而如果换成每节点 6 个 U.2 热插拔 NVMe SSD 支持，这样的连接器线缆就要 3 组，在 2U 4 节点比较拥挤的空间中走线可能就有些挑战了。

在 Xeon Scalable 这一代 2U 4 节点服务器中，我看到有几款没有采用传统的结构设计，而是将驱动器热插拔背板拆分， 把每个节点和对应的盘做成一体化 ，就像下图这样。

这里以某厂商的 2U 4 节点机型设计来举例，请留一下 内存插槽数和 CPU 散热器的宽度 ，这个我在后面还会讨论。不过它支持的 NVMe SSD 也只有每节点 2 个，为什么类似结构也有区别呢？除了散热，可能还要 结合应用需求来分析 。

2 、 205W CPU+ 全 NVMe 散热设计难度

如果是普通 2U 双路服务器支持 24 个 NVMe SSD 比较正常，我在《 Dell PowerEdge R740xd 解析：服务器只看参数那就错了 》中也没有特别提到散热的压力。而 2U 4 节点 CPU 的功率密度是普通 2U 的 4 倍 ，再加上 Xeon SP 有 205W TDP 的型号，如果前面板满配 24 个 25W 的 SSD 散热吃的消吗？

搞过散热设计 / 测试的朋友应该熟悉 T-case 、 T-rise 这些指标，如果 35 ℃ 的进风温度服务器组件无法达到正常工作范围，还有一个取巧的办法—— 将环境温度要求下调至 30 ℃、乃至 20 ℃ … 当然这样做不是没有代价，要求机房温度更低就意味着 空调散热成本的上升， PUE 不会太好看 ，至于 Fresh-Air 新风之类的更不用考虑了。

上述观点仅供参考，具体指标请咨询服务器厂商，我只是想指出散热设计也会有天花板。

3 、 3.5 英寸大盘支持

如果采用盘 - 节点一体化设计，就只能做成最多 6 个 2.5 英寸驱动器支持了， 3.5 英寸大盘不太好放。

上图为 3.5 寸驱动器配置的 PowerEdge C6420 。一些超融合用户喜欢用 1 个 SSD （加转换托架后 3.5 英寸） + 2 个大容量硬盘的混合存储 ，主要是因为 2.5 寸硬盘的 性价比 没有这么高。

4 、网络选择、 PCIe 模块设计和 KVM 连接