专栏名称: 企业存储技术
企业存储、服务器、SSD、灾备等领域技术分享,交流 | @唐僧_huangliang (新浪微博 )
目录
相关文章推荐
51好读  ›  专栏  ›  企业存储技术

Dell PowerEdge R940解析:四路顶配服务器维护平民化

企业存储技术  · 公众号  ·  · 2017-07-13 08:47

正文

请到「今天看啥」查看全文


本文内容非商业用途可无需授权转载,请务必注明作者及本微信公众号、微博ID:唐僧_huangliang,以便更好地与读者互动。


在昨天的《 Intel Xeon Scalable 处理器资料抢先看:存储应用、 HPC 性能提升 》一文中,我列出了新一代 CPU 相关的部分资料,由于时间关系没有深入解读。考虑到这段时间对 Xeon SP 架构介绍的文章应该会有不少人写,我还是把精力放在服务器系统上,从本文开始接下来的几天内,陆续 通过实物深度解析主流机型的设计特点

今天的主角是 Dell PowerEdge R940 ,这款 3U 四路服务器我在《 四路 Xeon SP 服务器内存减半: Intel 葫芦里卖的什么药? 》中已经做过简单介绍。在这里先推荐读者朋友先参考下 2 年前我写的上一代 PowerEdge R930 的设计,以便有个对比:

服务器设计进化:戴尔 R930 跨代对比之存储篇

四路服务器进化: R930 内存板瘦身、偏置 CPU 散热

机身上的示意图很有用:从盘位和 UPI 连接说起


R940 服务器前面板有 24 2.5 英寸盘位,镂空设计的前面板比之前更时尚一些,有朋友说和 EMC 存储现在的风格差不多。


后端设计就不特别说了,之前的文章中已经介绍过。


在硬盘 /SSD 热插拔仓位的上,可以有 24 SAS 8 SAS 20 SAS+4 NVMe SAS/SATA 混合、 16 SAS+8 NVMe SAS/SATA 混合、 12 SAS+12 NVMe + SAS/SATA 混合一共五种布局。

PCIe 扩展插槽方面,排除 1 NDC 网卡之外,还有 13 个全高槽位。根据已经公开的规格,其中包括 10 x16 PCIe Gen3 3 x8 PCIe Gen3 ,应该说把 4 CPU (每 CPU 48x PCIelane )的扩展性利用比较充分了。

R940 机箱上盖内侧还有不少说明,这里只重点介绍一部分。不难看出上图是 2 插槽和 4 插槽 CPU UPI 互连线缆路由方式。

我看有的朋友已经列出过 Xeon SP CPU 之间的拓扑连接方式, Xeon Platinum Xeon Gold 都像现在的 Xeon E7 那样提供 3 UPI PowerEdge R940 做为 R930 的继任者自然要支持这种最高的规格。

先看上半部分那张图, A C B D 分别对应主板上两 CPU UPI 接口,在只配置 2 Xeon SP 的时候,需要 A-D B-C 互连。再加上主板走线中的 1 UPI 这种双路服务器配置是 3 UPI 连接用满的,比较豪华 。至于常规双路机型会怎么设计,这里先留一个伏笔,等到后面的文章我再给大家介绍。

到了 R940 4 路配置时,我们看到了 主板(System Board)之外的另一块 PEM ,也就是前文中说过类似 R830 那样上面搭一块专用的 CPU (2颗)、内存(24 DIMM)扩展板 。这时 4 UPI 就要在两块电路板之间连接了。写到这里是不是有点纸上谈兵晦涩难懂?不要着急,后面都有对应的实物说明。


由于找资料的时间不够了,上图引用自一位朋友盘骏的评测:)

这么快拆完?高端四路服务器维护性再提升


从前到后,请大家留意 SAS 扩展器板、风扇、 CPU/ 内存板、两侧 PCIe 转接板的位置。


风扇排—— R940 这一代是 4x2 的配置,单个风扇 92x38mm


粗线红圈标出的就是 SAS Expander 芯片,通过它可以访问到 24 SAS/SATA 盘。同时我还圈出了背板上的 6 个连接器,它们都能跑 PCIe x8 信号,也就是每个口驱动 2 2.5 英寸的 U.2 NVMe SSD ,如果用满了就是 12 NVMe 支持。


拆掉导风罩之后,可以看到 PEM 板与主板之间的相对位置。靠近我们这一侧有个提手是做啥的呢?


在提起插着 2 CPU 和内存的 PEM 板之前,需要注意 先取下 PCIe 转接板,因为对应的信道是由上面 2 CPU 3 4 )来提供的 。同时我们还要拔掉 4 UPI 电缆。


PEM 板就是这样提起的,有个转轴,也就是说不用像 R830 那样彻底取下来再维护下面的 CPU 和内存。


提至 90 度多点,就可以放在这里保持结构稳定了。


位于主板上的 4 UPI 线缆槽位,如果配置 4 CPU 需要 A-A B-B 这样的连接哦。


在主板和 PEM 板之间,除了 UPI 信号电缆,还有一条方形接口的 CLOCK 时钟电缆

CPU 固定方式改变, NDC Dual-SD 模块复用


由于硅脂的作用,当我把 CPU 散热器取下时就这样粘下来了。右下方有个示意——用 一字改锥撬一下 CPU 就能把 2 者分开( 注意轻微的塑料卡子,这里如果用蛮力我不负责哦 )。更多关于 LGA-3647 固定方式的描述,我们留给以后的文章吧。


Broadcom 57800-t 是一块双万兆 + 双千兆的 rNDC 网卡,熟悉 Dell 1U/2U 服务器的朋友看到右边浅蓝色的塑料螺钉应该能想到它 原本平插在主板上 的样子。那么,可以说在 R940 上对 NDC 网卡模块做了点“改造”。


尽管转接之后也是走 PCIe 信道,但它与主板之间的连接器明显不同,要更窄小一些。


这张图右边数第二个插槽,就是 NDC 网卡专用的。当然作为新一代 Xeon SP 服务器, R940 这个位置也是可选双端口 25Gb 网卡的。


最后再看看 BMC 芯片附近,有个蓝色提手的就是 Dell Dual-SD 卡模块,朝向我们这一侧的 TF 卡应该是还兼做 vFlash iDRAC 管理日志导出等用途。我在《 新一代服务器预览: M.2SSD 系统盘 RAID1 方案 》中介绍过 PowerEdge14G 服务器的 BOSS Boot optimized Storage Subsystem )功能,由于是硬RAID 1 R940 上应该会占一个 PCIe 槽位。而对于有些用户来说,使用 ESXi 时装在 SD 卡上也够用了。


不仅支持 SD 卡之间的 RAID 镜像保护,而且还有写保护开关。

总之, 拆解 R940 比我预想的时间节省了不少 。大致两方面原因:首先 Purley 平台上 Intel 放弃了内存板和SMI桥的复杂设计;另外,也有 Dell 做出的一些人性化设计吧。初步感觉在13G基础上有进步:)

今天先写到这里,未完待续。

扩展阅读《 XeonSP 服务器新技术:防代码入侵从 BIOS 做起

IntelXeon SP 服务器架构曝光: Apache Pass QuickAssist


:本文只代表作者个人观点,与任何组织机构无关,如有错误和不足之处欢迎在留言中批评指正。 进一步交流 技术 可以 加我的 QQ/ 微信: 490834312 。如果您想在这个公众号上分享自己的技术干货,也欢迎联系我:)


尊重知识,转载时请保留全文,并包括本行及如下二维码。感谢您的阅读和支持!《企业存储技术》微信公众号: huangliang_storage


长按二维码可直接识别关注

历史文章汇总 (传送门): http://chuansong.me/account/huangliang_storage

点击下方“阅读原文”,查看更多历史文章
↓↓↓






请到「今天看啥」查看全文