专栏名称: 企事录
企事录为您分析点评企业IT和互联网基础设施及架构方面值得关注的话题,把握行业热点,看清产业趋势。
目录
相关文章推荐
哈尔滨日报  ·  抖音、快手、微信,同日出手! ·  8 小时前  
哈尔滨日报  ·  看亚冬之城580天华丽转身! ·  2 天前  
网信黑龙江  ·  V眼看龙江 | 网络名人做客央视直播间 ... ·  3 天前  
网信黑龙江  ·  V眼看龙江 | 网络名人做客央视直播间 ... ·  3 天前  
哈尔滨日报  ·  破纪录!高亭宇夺得中国代表团冰上项目首金! ·  3 天前  
51好读  ›  专栏  ›  企事录

都说NVMe SSD好 就是配对太难搞

企事录  · 公众号  ·  · 2018-01-17 07:59

正文

时代变了—— 正如上篇文章所说,十年间,SSD迅速“开花结果”,成就了一片“牢不可破”的市场。 NVMe SSD是必然趋势,但由于历史遗留、面向未来以及满足企业所需等多种因素影响,导致NVMe SSD出现了许多不同形态的产品,不同形态的NVMe SSD需要服务器平台提供特定的硬件支持,要让服务器平台发挥最佳性能,就必须合理配置与之相对应的NVMe SSD。本文将根据NVMe SSD的不同形态,详解其对服务器平台的要求,尽量给读者一条清晰的脉络。

在厚度相当的情况下,怎么辨别以上三款SSD——SATA、SAS、NVMe分别是哪个?往下看您就知道是哪个顺序了…当然,本文的重点是不同形态的NVMe SSD如何使用

在SATA和SAS时代,SSD的外形比较简单,都是2.5英寸规格,主要的区别是厚度不同,譬如7mm厚的基本可以确定是SATA SSD,15mm厚的基本可以确定是SAS SSD。SATA SSD的情况尤其简单,所有能插硬盘的服务器都可以无缝接入。甚至那个时期的PCIe SSD也很简单,“规规矩矩”的PCIe插卡形式,几乎所有(留出PCIe插槽的)服务器都能用。

待到“寄生于”PCIe的NVMe SSD势力逐渐壮大,局面就明显复杂起来了:即使不考虑SAS,2.5英寸驱动器外观的也不一定就是SATA SSD——如果是U.2规格的NVMe SSD,怎么判定自己的服务器是否支持?即便是主流的机架式服务器,在前面驱动器仓位和后面PCIe插槽寻找SSD的方法也会失灵,因为里面的主板上可能还趴着口香糖大小的M.2 SSD……没错,在传统PCIe插卡之外,NVMe SSD又多了M.2和U.2两种规格。三种形态各有各的适用场景,各有各的硬件依赖,想顺利的用起来并不轻松,一不留神老司机也会被带到沟里去。

图为面向数据中心的Intel SSD产品,超过25个系列,其中有11个系列以“DC S”为开头,都是2.5英寸驱动器形式、采用SATA接口的SSD,暂不讨论;再排除“传统数据中心固态盘”,使用NVMe的有12个系列,全部以“DC P”(P代表PCIe)或“DC D”(D代表Dual –port,双端口)开头,最新一代NVMe SSD产品目前就有“DC P4xxx” 4个系列(“傲腾”略有特殊,非本文讨论重点)

以Intel面向数据中心市场的DC P4xxx系列为例,4个子系列涵盖了NVMe SSD的三种接口形态,如DC P4500/4600系列中都有U.2和传统PCIe插卡式两种形态,DC P4501中则有M.2和U.2两种形态,而DC P4510是Intel最新采用64层3D NAND技术的SSD,官网只公布了U.2接口形态。M.2、U.2和传统PCIe插卡式的不同特性与使用场景大致如下图所示:

不同接口形态(M.2、传统PCIe插卡式和U.2)SSD的主要特点与适用场景,可点击看大图

传统PCIe插卡式(Add-in Card,AIC)SSD可能是大家最熟悉的数据中心SSD,其历史可追溯到2007年,甚至更早,在NVMe诞生之前。其优点很明显,能够部署在任何标准的x86服务器之内,而不需要硬件有任何改动。尤其在NVMe被业界广泛接受、驱动程序内嵌到各种操作系统平台之后,使用更加方便。比如京东,就在其“老”服务器内批量使用PCIe插卡式NVMe SSD,大幅提升应用性能。值得注意的是,这儿的“老”并非单指已使用年限,也指没有为兼容新一代U.2 SSD而重新设计的服务器平台。

所谓的“老服务器”并没有一个明确的界限,但可简单地以是否支持U.2 SSD为判断条件。U.2是专为非易失性存储而设计的新一代(电气)接口标准,在SAS连接器的基础上,增加了PCIe x4通道以支持NVMe。采用U.2接口的2.5英寸规格SSD不仅具有前端热插拔易维护等优点,还可以支持NVMe规范中的双端口(Dual Port)多路径等企业级存储功能。因此,U.2 NVMe SSD已经被公认为企业级SSD的必然趋势,可用以替代现有的SATA/SAS SSD。

U.2接口设计规范,U.2的“学名”为SFF-8639,可以看作是在SAS接口的基础之上增加了PCIe x4通道,保留了对SATA/SAS的兼容,并且支持前端维护、热插拔,但需要软硬件上的支持

U.2接口可以向下兼容SATA/SAS硬盘,但反之并不成立,这就需要服务器厂商至少重新设计硬盘仓背板,将原来的SATA/SAS连接器替换为符合U.2规范的连接器,同时还需要增加支持PCIe的连接器,譬如OCuLink。所以“新服务器”指的是具备支持U.2 SSD的硬件环境,这需要磁盘背板和主板的通力协作,两者之间需要对应的线缆连接,必要时还会加入PCIe扩展卡。

Tips: OCuLink是PCI-SIG标准组织在2015年发布的一种新的连接器标准,通常支持PCIe x4通道,也可支持更多到PCIe x8甚至x16,既可以用作服务器内部连接,也可用作外部连接,并且支持铜缆和光纤两种版本。

但值得注意的是,服务器内部连接并非只有OCuLink可选,实际上有部分服务器通过利用已有的连接器/线缆方案来提供对U.2 SSD的支持,比如Slimline或Mini SAS HD。但SlimLine和Mini SAS HD的连接器,相比OCuLink连接器,体积大、线缆粗,会占用数倍的硬盘仓背板面积,连接少数(比如4个)U.2 SSD还可接受,如果要连接更多—比如12/24块U.2 SSD,工程设计上实现的难度大幅增加。

从上到下依次为Slimline连接方案(上)、Mini SAS HD与Mini SAS连接器(中),以及OCuLink连接器(下)

相对于Slimline和Mini SAS连接方案,OCuLink连接器对硬盘仓背板的空间需求更小,线缆也更细,可以尽可能地减少对服务器内部散热气流的不利影响。

OCuLink(左)与Mini SAS HD(右)线缆,都连接一片PCIe x4通道的U.2 NVMe SSD,但Mini SAS HD线缆明显更粗,OCuLink线缆则“苗条”得多

以Intel最新的SkyLake(第一代至强可扩展处理器)平台为例,CPU的TDP最高可到205W,为了提高散热效率,Intel不仅增大了CPU的散热面积,还改进了CPU散热器。众所周知,硬盘仓背板位于服务器风扇墙的前面,相当于进风口,OCuLink更小的空间占用意味着更大的风道投影面积,能够最小化对服务器内部散热效率的影响。较早的Slimline或Mini SAS HD连接方案更像是过渡方案。

上图为来自两款服务器的硬盘仓背板,图上来自使用Intel Xeon E5 v4处理器、主板型号为S2600WT的白牌服务器,不支持U.2 SSD,所以只提供了Mini SAS HD连接(用于SAS/SATA);图下为使用SkyLake处理器、主板型号为S2600WF的Intel新一代白牌服务器,增加了对U.2 SSD的支持,背板上也增加了OCuLink连接器,每块背板上支持8个OCuLink连接器,即支持8片U.2 SSD。普通2U24盘位的服务器通常使用3块这样的硬盘仓背板。相对于E5 v4服务器,虽然增加了OCuLink连接器,但磁盘背板上的开口面积没有受到明显影响,这对保证足够的气流通过是很关键的

OCuLink、Slimline或MiniSAS HD用于实现U.2背板与CPU(主板)之间的连接,磁盘背板不支持U.2可以更换,如果主板上没有对应的连接器怎么办?可以使用集成PCIe交换芯片的扩展卡,插在服务器主板的PCIe插槽上。PCIe交换卡上面提供OCuLink等规格的连接器,譬如某台Intel白牌服务器中就提供了这种PCIe交换扩展卡:

服务器内部用于U.2背板与CPU连接的PCIe交换扩展卡,上图产品来自Intel公司,采用PCIe x8通道,红框中即为OCuLink连接器,共8个,最大支持8片U.2 SSD。由于进出的PCIe带宽不对等,存在一定的收敛比,如果8个SSD都接上,下方PCIe x8插槽会成为带宽瓶颈

使用PCIe交换扩展卡的好处在于可以让任何x86服务器都能支持U.2 SSD,而不需重新设计主板,但仍需磁盘背板支持(不支持则要更换背板)U.2接口。但潜在问题是会占用PCIe插槽,这可能导致PCIe插槽紧张,毕竟服务器内部还需要接入其他的HBA,譬如高性能网卡。

Intel最新的至强可扩展处理器(代号SkyLake)虽然增加了PCIe通道数,从上一代的单颗处理器40条PCIe通道增加到48条PCIe通道。但是很难全部用PCIe插槽的方式来实现,毕竟原来的PCIe插槽+扩展槽的设计已经很紧凑了,物理空间的限制使其很难“挪出”更多适宜的空间。

OCuLink连接器较小的空间占用特点又有了发挥的空间,其可以直接布局到服务器主板上。面积小,可以灵活利用主板的“空白”空间;体积小,将对散热效率的影响降到最低。Intel在新一代支持SkyLake处理器的S2600WF系列主板上新增了4个OCuLink连接器,可以连接4片U.2 SSD。如下图所示:

支持SkyLake处理器的Intel白牌服务器主板设计(部分),除了保留传统的PCIe扩展插槽和板载的SATA、Mini SAS HD连接器之外,新增了2个M.2接口和4个OCuLink连接器(红色框)。图右两个红色框已经连接了两条外形低调不挡风的OCuLink线缆

关于U.2 SSD的内容就介绍到此,稍后企事录实验室将会对Intel最新的DC P4x00系列SSD进行评测,而服务器平台就是上面所展示的支持OCuLink+U.2 SSD的Intel白牌服务器。

企事录实验室用于评测Intel DC P4x00系列SSD的服务器平台,配备最新的Intel Xeon Gold 6146处理器,主频3.2GHz,可睿频到4.2GHz,高主频CPU更能发挥NVMe SSD的高性能;配上12核/24线程,达到165W的TDP对服务器的散热能力也提出了更高的挑战

再来看看M.2 SSD,其与U.2 SSD的相同点在于都能达到PCIe x4通道。但是M.2接口所面向的应用领域实际上不仅仅是企业级存储,而是大有一统客户端内部接口的趋势,所以M.2实际上有多种形态:

M.2接口实际上有3种不同形态,注意看上图黑框的接口,左二和左三为同一种。最右两种接口形态都可用于存储领域,但这两种接口形态虽然外形相似,内涵却大不同,红框中的才是支持NVMe的M.2接口(也可支持SATA),最大PCIe x4通道;黄框中的M.2只能支持SATA

M.2 SSD的最大优势在于节省空间,例如其宽度都是22mm,长度主要有60mm、80mm和110mm三种,所以在相应的产品规格中会有这样的注明:2260、2280或者22110,即以长度来区分,但目前主流M.2 SSD多用2280和22110两种规格;不同的M.2 SSD产品厚薄不均(如单面和双面),但都在3.5mm以内;而标准2.5英寸(U.2)驱动器规格SSD的长宽为100mm与70mm,通常不低于7mm(如Intel DC P4501)。其空间占用大致如下表:







请到「今天看啥」查看全文