U盘也做仲裁：“真正”的2节点SDS/超融合

最近工作比较忙，好久没写东西了。这两天看到点新鲜有意思的，跟大家分享下。

2节点，是软件定义分布式存储/超融合系统的一种mini配置，主要针对分支机构等边缘位置的应用。除了在数据保护方式上只能采用 2 副本 之外，还要考虑的一个问题是 第3点仲裁 ——以判断在2个节点间失去通信时让哪个“活”。

上图我在前年的《 VSAN6.5详解：传统存储特性附体，未来野心更大 》一文中曾经介绍过，这种2节点直连集群省去了高速网络交换机（通常不低于10GbE），仲裁使用集群外部的一个虚拟机即可，该VM放在云端也是支持的。

下面要讲的，是这次看到的另一种省钱的做法。

U盘如何在集群中共享？

Windows Server 2019 introduces a surprisingbreakthrough – the USB witness!

我们知道，目前最新的Windows 10正式版是1803（RS4），Windows Server2016停留在1709（RS3）内核，接下来要发布的Windows Server 2019可能会是1809的版本号。

在这个最新的微软服务器OS内部预览版中， S2D（Storage Spaces Direct）存储软件有几方面的改进，其中我觉得最有意思的就是这个 “真正2节点”，使用U盘来做仲裁 ，不再需要虚拟机、Internet连接，甚至AD活动目录都不要，号称不超过5美金的成本。

看到U盘这个说法之后，我立刻去想怎么在2个服务器节点间共享访问？没有点脑洞还不太容易想到——上图中大家看到了吧，把U盘插在一个 无线路由器 上，然后服务器使用与集群互连10GbE独立的千兆Uplink连接到路由器。

当然这个对路由器也是有点要求的，需要带USB接口，支持将连接的存储设备 共享成NAS 。

现在许多企业级存储阵列都支持的跨数据中心双活功能，也需要第三站点仲裁。早期有的厂商要求Witness磁盘是个FC SAN，也有NAS的，后来逐渐都支持用虚拟机了。进一步考虑2节点SDS/超融合的环境，既然仲裁只需要一个共享目录即可，那是不是越简单越好呢？

扩展阅读：《 存储极客：大话“双十一”与经济适用型双活 》

来看下这一段的总结，路由器的USB NAS功能需要支持SMB 2+，大家可能还记得WannaCry勒索病毒中SMB 1.0的漏洞吧，这个老版本协议不能再用了。

扩展阅读：《 勒索病毒预防实战：有的PC打不上补丁怎办？ 》

各种集群仲裁盘上的文件通常都不大，这里的 witness.log 甚至小于1KB ，所以U盘任意大小的都能用。

雷电互连、S2D未来能单独卖吗？

U盘做仲裁的创意，其他2节点SDS产品要想学过来应该不难：）同时我也想起了2节点S2D的另一种连接方式——Thunderbolt 3，之前微软也介绍过这个。

雷电互连的效率基本上能达到PCIe 3.0 x4的上限，也就是 40Gb （4GB/s），比双万兆网卡要快一些。天生适合RDMA，而且控制芯片成本较低，缺点就是无法交换机大规模组网。这样用于2节点SDS/超融合倒是挺合适，不过Thunderbolt接口（适配卡）主要是在PC、工作站等桌面产品上提供，服务器用的比较少。

上图引用自《 双Xeon SP工作站，我却没找到第二个CPU插槽？ 》一文，其中提到Dell工作站上支持的雷电3接口卡。这里我有一点小私心， 要是S2D能装在工作站版Windows上就好了 ，该存储软件目前除了DataCenter版Server自带之外还没有别的购买选择。

“跨RAID分层”——对象存储之外还有谁在坚持？

《Here’s what you missed – Five bigannouncements for Storage Spaces Direct from the Windows Server Summit》

https://blogs.technet.microsoft.com/filecab/2018/06/27/windows-server-summit-recap/

在这份本文的参考资料中，一共提到S2D的5个新特性，我还想聊聊另外一点。

“镜像加速的奇偶校验” 在Windows Server 2016的S2D上就有支持，本次宣称性能提升超过100%，似乎侧面验证了之前有的同行朋友测试效果不是太理想。

据我了解，有的传统存储厂商比如Dell EMC SC（Compellent）在跨RAID级别分层上就比较擅长。一方面 集中存储的RAID 5/6本身就比跨节点纠删码容易优化，另外随着闪存的流行稍微有点性能要求的应用都会配几块SSD 。包括虚拟机在内的传统应用，除了在SSD和HDD之间，在同级驱动器上再做跨RAID级别分层的应该不多了？不过有一类应用例外。

上图引用自Dell EMC技术白皮书《 Elastic Cloud Storage (ECS)Overview and Architecture 》， ECS 对象存储 的前身就是Atmos。其实不止这一家，还有HCP等的 写入策略大多是先多副本再转纠删码，之后对改写的性能也没什么要求 。大一点的互联网公司自己搞对象存储，还记得阿里巴巴数据库专家张友东（花名林青）当年在讲TFS时也是一样的策略。

毕竟许多对象存储主要面向 归档这样的冷数据 ，而微软S2D更多面对超融合，并且是块存储为主（不支持对象访问）。在“镜像加速的奇偶校验” 技术上优化无可厚非，但具体到实际应用就是个仁者见仁的事情了，毕竟WS数据中心版系统的价格（按CPU购买）在那里。

另一方面，我也能理解VMware vSAN只在全闪存配置上支持纠删码（类似RAID 5/6，参见《 全闪存专享：VSAN 6.2重复数据删除、纠删码浅析 》）这种KISS（keep it simple & stupid）的选择，并把主要精力放在完善其它方面上（《 VMware vSAN 6.7发布：大量新特性 》）。

上图引用自我们之前的评测《 12万邮箱ESRP测试：Exchange超融合存储设计漫谈 》，对这部分技术细节感兴趣的朋友可以点击链接查看。

最后再回顾下去年，由上海维赛特网络系统有限公司副总工程师高翔（Sean）操刀，加上笔者配合完成的S2D系列评测。除了上面列出那篇之外，还有3篇：

《 4节点近160万IOPS：SDS/超融合测试不能只看数字 》

《 揭秘VDI存储测试：4节点SDS模拟12000虚拟桌面 》

《 当Windows超融合遇上Oracle RAC：S2D测试之四 》

注 ：本文只代表作者个人观点，与任何组织机构无关，如有错误和不足之处欢迎在留言中批评指正。 进一步交流 技术 ， 可以 加我的 QQ/ 微信： 490834312 。如果您想在这个公众号上分享自己的技术干货，也欢迎联系我：）

尊重知识，转载时请保留全文，并包括本行及如下二维码。感谢您的阅读和支持！《企业存储技术》微信公众号： HL_Storage

长按二维码可直接识别关注

历史文章汇总 ： http://www.10tiao.com/author/index?authorId=691