VMware vSAN下一目标：NVMe-oF存储扩展？

企业存储技术 · 公众号 · · 2019-09-29 07:40

正文

本文内容非商业用途可无需授权转载，请务必注明作者及本微信公众号、微博 @唐僧_huangliang，以便更好地与读者互动。

在前几天发了《 SNIA SDC 19 分享： NVMe 、 SMB 、存储架构 / 性能 / 管理》之后，就有读者朋友问我要 SDC 的全部会议资料。现在官网已经基本上全了，我也整理下，同步更新到之前那个网盘链接。

百度网盘下载（也可点击本文底部 “阅读原文”）

https://pan.baidu.com/s/1g1maNn3-Xa65aZUdqzPAvA

在共享目录里，我还放了一个压缩包集合，方便大家下载。

今天跟各位聊聊 vSphere ESXi 和 vSAN 对 NVMe-Fabric 的支持。

如上图，在下一代 ESXi 的 Kernel 里， 3 种 NVMe over Fabric 方式都有支持，包括无损以太网 RDMA （ RoCE 和 iWARP ）、基于传统光纤通道的 FC-NVMe 和普通以太网就支持的 NVMe/TCP 。

vSphere 管理界面中，对 NVMe over RDMA 存储适配器、闪存盘的支持。

vSAN 使用 RoCE 连接 JBOF SSD 扩展柜

注意：上图中提示内容状态为 POC ，应该还在概念验证阶段。

我们知道，传统的 vSAN 是 HCI 超融合的部署，将计算和存储聚合在服务器节点上，组成对等集群。依靠分布式多副本或纠删码进行数据保护。

有了 NVMe-oF 支持后， vSAN 可以考虑将 SSD 转移到 JBOF 专用存储机箱。如上图示例 2 个 JBOF 资源池 A 和 B 用的是 2 台 Intel RAF1000JSP ，里面装着 P4500 “ Ruler ” SSD 。我引用 Intel 资料中的图片如下：

这个大家可能不太陌生了， 1U 机箱最多支持 36 个 Intel Ruler 长尺形状的 SSD ，我在《 EDSFF 3 英寸企业级 SSD 会成为下一代标准吗？ 》一文中也提到过。

而在当前的资料中， RAF1000JSP 还是通过内部 2 个 PCIe Switch Node 提供主机连接。如果 vSAN 服务器节点用 RoCE 连接它的话，这 2 个 Node 模块应该要更换成对应以太网接口的。

在这里 NVMe-oF 对于 vSAN 的价值，在于存储和计算可以单独扩展，同时针对分配和解聚合的工作流保持简化的 HCI 管理。

vSAN 使用 NVMe/TCP 连接 lightbits 闪存“阵列”

这里的“ Storage Virtualization ”又让我想起了多年前，存储阵列内“虚拟化”技术的说法，其实与严格意义上将多台阵列整合管理的“存储虚拟化”不是一回事。

如上图，将 lightbits 的设备称为阵列可能不完全准确，或者说具备部分功能的轻量级阵列更合适一些，稍后我会接着讨论。 Lightbits 的另一身份是 NVMe/TCP 技术的主导者。

Lightbits 硬件上是一个全 SSD 服务器，除了运行 NVMe/TCP target 之外，还实现了全局 FTL 。另外可选一块 FPGA 加速卡用于 SSD 管理和数据服务，比如 Thin Provisioning 、压缩和 EC 纠删码保护等。

vSAN + lightbits 类存储组合的用户价值在于：

- 同样整合的 vSAN 管理和用户体验；

- 全功能企业级存储方案；

- 存储和计算可以单独扩展；

- 带有本地驱动器或无磁盘 vSAN 节点组成的异构集群；

- NVMe 性能；

- 增强的 SSD 耐久度；

- 精简配置、压缩和 RAID （ EC ）。

如果我们将 Global FTL 的 Lightbits 想象成一个“大的 SSD ”，它也可能有单点故障，连接 lightbits 的 vSAN 服务器节点就像存储管理网关，仍然可以靠上层的多副本（镜像）来实现高可用。这个看起来像不像以往的存储虚拟化技术？

小结

当前的块级软件定义存储产品技术，大多都是对等节点的集群，用于超融合场景较多一些。 Ceph 的情况可能特殊一些，主要是服务器 CPU 等资源开销较大，所以往往设计为专用存储集群。有了 NVMe oF 之后，我觉得 SDS 在与传统基于专用控制器的存储阵列竞争时又多了一点武器。

如今 vSAN 已经颠覆了存储市场， VMware 会不会还有更多的野心呢？

注：本文只代表作者个人观点，与任何组织机构无关，如有错误和不足之处欢迎在留言中批评指正。 进一步交流 技术，可以加我的 QQ/ 微信： 490834312 。如果您想在这个公众号上分享自己的技术干货，也欢迎联系我：）

尊重知识，转载时请保留全文，并包括本行及如下二维码。感谢您的阅读和支持！《企业存储技术》微信公众号： HL_Storage

长按二维码可直接识别关注

历史文章汇总 ： http://chuansong.me/account/huangliang_storage

点击下方“阅读原文”，查看更多历史文章

↓↓↓