专栏名称: 企业存储技术
企业存储、服务器、SSD、灾备等领域技术分享,交流 | @唐僧_huangliang (新浪微博 )
目录
相关文章推荐
数据分析与开发  ·  字节回应大模型训练被实习生攻击 ·  2 天前  
数据分析与开发  ·  取代数据岗,某司从业人员已集体转行.... ·  4 天前  
程序员鱼皮  ·  MySQL 已经进化到这种程度了么? ·  3 天前  
程序员鱼皮  ·  MySQL 已经进化到这种程度了么? ·  3 天前  
51好读  ›  专栏  ›  企业存储技术

Gen-Z互连(下):第一步25-100GB/s、PCI-SIG的反应

企业存储技术  · 公众号  ·  · 2017-08-21 08:00

正文

本文内容非商业用途可无需授权转载,请务必注明作者及本微信公众号、微博ID:唐僧_huangliang,以便更好地与读者互动。


接上篇《Gen-Z互连()Intel缺席的内存中心架构

 

另类RSD:复用PCIe pin提升整体内存带宽

 

Gen-Z可以连接3D XPointMemory吗?我想Intel应该不太可能为Apache Pass提供Gen-Z接口吧。

 

除了DRAM主内存之外,Gen-Z也可以用于连接处理器和SCM存储级内存、GPU/FPGA等,通过引入Gen-Z Switch还可以实现多个资源池的通用互连。

 

注:关于Intel 3D XPointOptane SSD我写过一些东西,在这里列出最后一篇《SPDK实战、QoS延时验证:Intel Optane P4800X评测(5)

 

如果有Gen-Z Fabric Switch,它还能用于服务器外部互连。在机架级池化内存这个场景中,Gen-Z还提供了复用PCIe引脚来提升整体内存带宽的能力。这让我想起了Intel Rack Scale Design还处在解决PCIe外设(SSD、网卡)池化的阶段。

 

扩展阅读:《IDF随笔:RSA|天蝎存储池化的理想与现实

 

通过使用Gen-Z解耦合的系统示例

 

上图应该只是一个Demo,可以通过Gen-Z连接的组件包括SoCDRAM内存、Flash闪存、SCMGPU、高性能GPU(尺寸较大)、FPGA模块等。

 

单个Gen-Z交换资源池规模增大后,我又想起了单点故障的问题,在ODCC随笔:整机柜资源池化需要高可用吗?中曾有过讨论,朋友们反馈说高可用应该是跨池实现

 

在更小连接器上跑出更高带宽(25-100GB/s

 

鉴于当前PCIe生态系统的发达,支持Gen-Z的系统可能会包含Gen-Z接口逻辑 + PCIe Root Complex的组合,物理配置上二者都可以通过Switch来扩展。PCIe不需要操作系统改动,而Gen-Z也利用逻辑PCI设备(LPD的概念采取了类似的支持策略。

 

通过SwitchGen-Z还支持I/O组件在多个系统(主机)之间的共享,号称可以较低的成本和复杂性提供PCIe MR-IOV的主要价值。在我印象中使用MR-IOV的服务器产品不多,DellPowerEdge VRTX是其中一款,主要是实现了Shared PERC8 RAID卡在刀片服务器之间的共享。

 

看到Gen-Z 112GT/s的速率,我猜测每个通道使用了4x28G SerDes(衍生自网络常用的IEEE 802.3 PHY),所以我们看到Gen-Z1C的连接器比PCIe x1要长一些(主要是信号部分金手指较多),这一点看2C4C插槽更加明显。

 

428G SerDes实际跑到100Gb/s有效速率来计算,Gen-Z 1C的双向带宽是25GB/s4C就是100GB/s,已经超过了连接器尺寸更长的PCIe Gen4 x16(双向接近64GB/s)。至于112224448GB/s这几个数值,不知是多少年后Roadmap上的吧?

 

对于前文中提到和PCIe共用引脚的情况,应该是Gen-Z也能兼容PCIePHY,此时速率应该就没有优势了,只是上面跑不同的协议。

 

联盟中还缺席了谁?PCI-SIG的反应

 

上图是Gen-Z联盟成员,其中包含有:

 

(跨领域的只在一边列出)


CPU/SoC方面:AMDARMCaviumIBM

存储芯片、模组:EverspinMicronSamsungSK hynixSmart Modular

网络、Switch方面:BroadcomIDTMellanoxMicrosemi

服务器、存储、HPC系统:CrayDell EMCHPEHuaweiLenovoNetApp

连接器:AmphenolLotesMolexTyco Electronics

操作系统/HypervisorRed HatVMware

硬盘/SSDSeagateWD

FPGAXilinx

 

正如有的同行朋友所说,大家都不想在PCIe一棵树上吊死。除了利益受到影响的Intel,另外还缺席一家巨头微软,可见Wintel联盟仍然存在。不过如果将来Gen-Z能够流行,微软为Windows提供兼容估计不难。

 

不难看出,主导PCIePCI-SIG组织也在关注Gen-Z的进展了,希望PCIe 4.0规范的版本号能够尽早从0.7变成1.0

 

 

最后对Gen-Z做个总结:

-         可扩展系统互连及协议;

-         优化的内存语义通信;

-         打破处理器-内存之间的创新依赖性;

-         有机会简化软件开销和复杂性;

-         无需更改的操作系统支持;

-         通用模块化连接器和机械尺寸。

 

我就分享到这里,大家有什么想法可以在下面留言:)

 

参考资料https://www.flashmemorysummit.com/English/Collaterals/Proceedings/2017/20170808_FB12_Bowman.pdf


:本文只代表作者个人观点,与任何组织机构无关,如有错误和不足之处欢迎在留言中批评指正。进一步交流技术可以加我的QQ/微信:490834312。如果您想在这个公众号上分享自己的技术干货,也欢迎联系我:)


尊重知识,转载时请保留全文,并包括本行及如下二维码。感谢您的阅读和支持!《企业存储技术》微信公众号:HL_Storage


长按二维码可直接识别关注

历史文章汇总(传送门):http://chuansong.me/account/huangliang_storage

点击下方“阅读原文”,查看更多历史文章
↓↓↓