本文内容非商业用途可无需授权转载,请务必注明作者及本微信公众号、微博ID:唐僧_huangliang,以便更好地与读者互动。
在昨天的《
Intel Xeon Scalable
处理器资料抢先看:存储应用、
HPC
性能提升
》一文中,我列出了新一代
CPU
相关的部分资料,由于时间关系没有深入解读。考虑到这段时间对
Xeon SP
架构介绍的文章应该会有不少人写,我还是把精力放在服务器系统上,从本文开始接下来的几天内,陆续
通过实物深度解析主流机型的设计特点
。
今天的主角是
Dell PowerEdge R940
,这款
3U
四路服务器我在《
四路
Xeon SP
服务器内存减半:
Intel
葫芦里卖的什么药?
》中已经做过简单介绍。在这里先推荐读者朋友先参考下
2
年前我写的上一代
PowerEdge R930
的设计,以便有个对比:
《
服务器设计进化:戴尔
R930
跨代对比之存储篇
》
《
四路服务器进化:
R930
内存板瘦身、偏置
CPU
散热
》
机身上的示意图很有用:从盘位和
UPI
连接说起
R940
服务器前面板有
24
个
2.5
英寸盘位,镂空设计的前面板比之前更时尚一些,有朋友说和
EMC
存储现在的风格差不多。
后端设计就不特别说了,之前的文章中已经介绍过。
在硬盘
/SSD
热插拔仓位的上,可以有
24
个
SAS
、
8
个
SAS
、
20 SAS+4 NVMe SAS/SATA
混合、
16 SAS+8 NVMe SAS/SATA
混合、
12 SAS+12 NVMe + SAS/SATA
混合一共五种布局。
PCIe
扩展插槽方面,排除
1
个
NDC
网卡之外,还有
13
个全高槽位。根据已经公开的规格,其中包括
10
个
x16 PCIe Gen3
和
3
个
x8 PCIe Gen3
,应该说把
4
个
CPU
(每
CPU 48x PCIelane
)的扩展性利用比较充分了。
在
R940
机箱上盖内侧还有不少说明,这里只重点介绍一部分。不难看出上图是
2
插槽和
4
插槽
CPU
的
UPI
互连线缆路由方式。
我看有的朋友已经列出过
Xeon SP CPU
之间的拓扑连接方式,
Xeon Platinum
和
Xeon Gold
都像现在的
Xeon E7
那样提供
3
条
UPI
,
PowerEdge R940
做为
R930
的继任者自然要支持这种最高的规格。
先看上半部分那张图,
A
、
C
和
B
、
D
分别对应主板上两
CPU
的
UPI
接口,在只配置
2
颗
Xeon SP
的时候,需要
A-D
、
B-C
互连。再加上主板走线中的
1
条
UPI
,
这种双路服务器配置是
3
条
UPI
连接用满的,比较豪华
。至于常规双路机型会怎么设计,这里先留一个伏笔,等到后面的文章我再给大家介绍。
到了
R940
的
4
路配置时,我们看到了
主板(System Board)之外的另一块
PEM
板
,也就是前文中说过类似
R830
那样上面搭一块专用的
CPU
(2颗)、内存(24 DIMM)扩展板
。这时
4
条
UPI
就要在两块电路板之间连接了。写到这里是不是有点纸上谈兵晦涩难懂?不要着急,后面都有对应的实物说明。
由于找资料的时间不够了,上图引用自一位朋友盘骏的评测:)
这么快拆完?高端四路服务器维护性再提升
从前到后,请大家留意
SAS
扩展器板、风扇、
CPU/
内存板、两侧
PCIe
转接板的位置。
风扇排——
R940
这一代是
4x2
的配置,单个风扇
92x38mm
。
粗线红圈标出的就是
SAS Expander
芯片,通过它可以访问到
24
个
SAS/SATA
盘。同时我还圈出了背板上的
6
个连接器,它们都能跑
PCIe x8
信号,也就是每个口驱动
2
个
2.5
英寸的
U.2 NVMe SSD
,如果用满了就是
12
个
NVMe
支持。
拆掉导风罩之后,可以看到
PEM
板与主板之间的相对位置。靠近我们这一侧有个提手是做啥的呢?
在提起插着
2
颗
CPU
和内存的
PEM
板之前,需要注意
先取下
PCIe
转接板,因为对应的信道是由上面
2
颗
CPU
(
3
、
4
)来提供的
。同时我们还要拔掉
4
条
UPI
电缆。
PEM
板就是这样提起的,有个转轴,也就是说不用像
R830
那样彻底取下来再维护下面的
CPU
和内存。
提至
90
度多点,就可以放在这里保持结构稳定了。
位于主板上的
4
个
UPI
线缆槽位,如果配置
4
路
CPU
需要
A-A
、
B-B
这样的连接哦。
在主板和
PEM
板之间,除了
UPI
信号电缆,还有一条方形接口的
CLOCK
时钟电缆
。
CPU
固定方式改变,
NDC
、
Dual-SD
模块复用
由于硅脂的作用,当我把
CPU
散热器取下时就这样粘下来了。右下方有个示意——用
一字改锥撬一下
CPU
就能把
2
者分开(
注意轻微的塑料卡子,这里如果用蛮力我不负责哦
)。更多关于
LGA-3647
固定方式的描述,我们留给以后的文章吧。
Broadcom 57800-t
是一块双万兆
+
双千兆的
rNDC
网卡,熟悉
Dell 1U/2U
服务器的朋友看到右边浅蓝色的塑料螺钉应该能想到它
原本平插在主板上
的样子。那么,可以说在
R940
上对
NDC
网卡模块做了点“改造”。
尽管转接之后也是走
PCIe
信道,但它与主板之间的连接器明显不同,要更窄小一些。
这张图右边数第二个插槽,就是
NDC
网卡专用的。当然作为新一代
Xeon SP
服务器,
R940
这个位置也是可选双端口
25Gb
网卡的。
最后再看看
BMC
芯片附近,有个蓝色提手的就是
Dell
的
Dual-SD
卡模块,朝向我们这一侧的
TF
卡应该是还兼做
vFlash iDRAC
管理日志导出等用途。我在《
新一代服务器预览:
M.2SSD
系统盘
RAID1
方案
》中介绍过
PowerEdge14G
服务器的
BOSS
(
Boot optimized Storage Subsystem
)功能,由于是硬RAID 1
在
R940
上应该会占一个
PCIe
槽位。而对于有些用户来说,使用
ESXi
时装在
SD
卡上也够用了。
不仅支持
SD
卡之间的
RAID
镜像保护,而且还有写保护开关。
总之,
拆解
R940
比我预想的时间节省了不少
。大致两方面原因:首先
Purley
平台上
Intel
放弃了内存板和SMI桥的复杂设计;另外,也有
Dell
做出的一些人性化设计吧。初步感觉在13G基础上有进步:)
今天先写到这里,未完待续。
扩展阅读《
XeonSP
服务器新技术:防代码入侵从
BIOS
做起
》
《
IntelXeon SP
服务器架构曝光:
Apache Pass
、
QuickAssist
》
注
:本文只代表作者个人观点,与任何组织机构无关,如有错误和不足之处欢迎在留言中批评指正。
进一步交流
技术
,
可以
加我的
QQ/
微信:
490834312
。如果您想在这个公众号上分享自己的技术干货,也欢迎联系我:)
尊重知识,转载时请保留全文,并包括本行及如下二维码。感谢您的阅读和支持!《企业存储技术》微信公众号:
huangliang_storage
长按二维码可直接识别关注
历史文章汇总
(传送门):
http://chuansong.me/account/huangliang_storage