快搭Server SAN前奏：融合架构三要素

在三环边上的小餐馆，我们撸着串，喝着冰红茶，龙哥自动开启了吹牛模式，把市面上各家厂商的2U4多节点服务器都给点评了一番，不愧为老司机，车开的多了，感受都要更深刻一些。我也很好奇，为什么龙哥对看似已寻常的多节点服务器有这么大的兴趣。

2U"x"的世界

“2U4确实省地儿啊，你想想，现在机房有几个不缺空间，不缺电的？机架空间紧张，还没有足够的电，可是IT应用却排着队等着上线，你说说，这CIO该怎么办？上虚拟化、用SDS？说起来都简单！”龙哥左手挥舞着一大把签子比划着：”当你要把几台几十台机器组成一个集群的时候，就会发现，传统的机架式服务器并不是那么美好，复杂的网络连线，部署没你想的那么快，运维也……”

眼见龙哥扯的要没边了，我赶紧提出了我的疑问：“龙哥， 在2U的机架空间里，您认为2U4更适合还是2U8更适合呢 ?”

听到这个问题，龙哥放下手中的签子，从他手机上翻出一张图，这是戴尔模块化服务器的演化史，可以看到 Dell PowerEdge FX2的三个显著特点是支持 PCIe 灵活分配，既能 Scale-out （横向扩展）又能 Scale-up （纵向扩展）…… “图中没有透露的是，戴尔FX2在2014年发布之后还有小幅的演进优化，再加上之前类似形态的刀片产品，则有十多年的积累了，肯定比刚跟风涉足2U4领域的厂商更有心得。

如果用户需要的计算密度高，对存储没有太多要求，或者配合外接SAN存储，2U8自然是占优势了；如果用作软件定义存储（SDS），2U4的模式更适合，因为可以为存储留出足够的空间；如果对单一节点的计算性能要求高，2U2的双4路服务器节点也是可以考虑的。所以啊， FX2能从2U8支持到2U2 ，具体上什么形态要看用户需要什么，灵活组合就能满足用户各种不同的需求。”

听到龙哥讲到SDS，我眼前一亮，这阵子一直被CIO追着屁股后面要SDS市场分析和产品选型建议，可是这SDS市场鱼龙混杂，一时间也理不清头绪，正好问问龙哥：“SDS现在除了商业化的产品，开源的大都基于Ceph环境吧？”

“的确，现在Openstack的流行带着Ceph已经成为开源SDS的标杆了，不过要想玩儿好Ceph，是件困难的事儿……”龙哥撸完最后一根串后，眼神产生了变化：“我最近刚在实验室的FX2上部署了一套Ceph的SDS环境，借助FX2的统一管理平台，可以实现快速部署Ceph环境，哥这就回去让你见识见识！”

“3+1”的模式

回到龙哥的实验室，龙哥拉开另一个机柜的门，我一眼就看到这么一套组合，相比上午给我反复讲解的2U8节点FC430的配置，这套环境给我的启发更大，因为我觉得已经清楚怎么在自己的环境中使用FX2了……

老司机开腔了，让我的思绪转回到“如何落地”上：

这是一套致力于高可用的关键业务系统，由两套FX2节点构成，上面这套是3台FC630双路计算节点+1台FD332存储节点构成的全闪存储池+HDD存储池的SDS环境，运行的正是你刚才问的Ceph；下面的一眼就能看明白了——两台FC830全宽四路计算节点构成的双机高可用（HA）计算平台。

看图学画“SDS”

接着龙哥开始为在FX2上搭建一套基于Ceph的Server SAN分布式存储系统做准备。“当然了，社区版的Ceph不能称为产品（连界面都没有），不适合你这样的用户，我这里用的是XSKY的X-EBS。XSKY（星辰天合）与戴尔同属未来就绪企业云联盟（Future Ready Enterprise Cloud Organization，FRECO）的成员，我去他们的研发机房看过，大量使用戴尔的服务器，对戴尔服务器的优化工作肯定没问题——你知道SDS与硬件的紧密集成还是很重要的……”

戴尔与XSKY联合推出的飞云存储系统

“R730xd被大量用于SDS这我知道，还是接着说FX2吧。”我太了解龙哥了，这家伙思维很跳跃，必须及时把他拉回正题。

“好吧。看看我这套配置：2U4节点的FX2中使用3个FC630计算节点，和一个FD332存储节点（分配给两台FC630，形成HDD存储池）；每个FC630分配至少两个PCIe扩展槽，分别安装双端口万兆网卡和PCIe NVMe SSD（形成的SSD存储池）。 ”

整个Server SAN架构大致如下图所示：

“理论上，使用FX2的网络模块FN IO就可以构建一套Server SAN，但遗憾的是，这台FX2上配置的是较老的千兆模块，对于多副本数据保护机制的Server SAN来说，使用万兆网络更有利于性能发挥，所以添加一台Mellanox（迈络思）的万兆交换机来连接FX2的各个节点。“追求架构“优美”的龙哥一脸遗憾地解释。

我问了龙哥关于FX2的一些详细的配置，最后整理成下表：

FD332：存储拆分小秘辛

我正在整理这套FX2的具体配置，突然想到一个问题：FD332里面的硬盘怎么分配？

设置存储资源池的第一个小目标：把FD332上的16个2.5英寸SAS硬盘分配给2个FC630节点

抬头一看，龙哥早就进入了FX2的CMC（Chassis Management Controller，机箱管理控制器）管理界面，手指着屏幕正回头看我，似乎已经“恭候多时”了。