从清明节开始，淡淡的雾霾天气就若即若离的盘踞在北京的上空，好不容易有这么一个小长假，却碰到了雾霾天气，还真不知道去哪儿比较好，真是令人沮丧。
突然间想起好友龙哥——服务器狂人，他的实验室里经常会有一些新奇的设备，前两天还看到他在朋友圈里秀机器，反正没地儿去，干脆去找龙哥。
龙哥的实验室距我住的地方有5km，说远不远，但是因为没有顺路的公交车，去的次数还真不多。好在现在满大街的共享单车，出门骑上摩拜，十五分钟就到了。心里暗自思忖，共享模式确实解决了好多传统模式难以解决的问题。
这不是你想象中的2U4
透过实验室窗户，龙哥正在机柜后面摆弄一台2U的机器，心里挺纳闷，龙哥也搞了十几年服务器了，怎么还对这种“老家伙”保有兴趣？
几个月没见，龙哥风
骚
采依旧，带我直接进了实验室，我们搞基（机）的人啊，做事儿都这么直接。
“来看看我弄的新玩意。”龙哥很自豪地给我介绍他的“新玩具”。
“不就是2U4节点服务器吗？这有啥新鲜的，见得多了。”我很不明白龙哥为什么会把这玩意儿当“宝贝”。
“淡……定！再仔细看看，你确定只是一台2U4？”看龙哥那略显得意的神情，我有些心虚。
赶紧凑上去细看，居然有8个节点，在2U机架的空间内上下两行排列，每个节点都是1U高度、四分之一宽，节点上有个铭牌：FC430，这是服务器型号。机箱左侧赫然几个银色凸出小字：
DELL PowerEdge FX2
。
好高的密度！比2U4整整多出一倍。不过，“这么小的节点，不会是单路服务器吧？”我在惊讶之余仍有些不敢相信。
“怎么会！这不是一般的2U4，从渊源来讲，这属于刀片式服务器的演化，是一套全新的多节点设备。传统2U4是将4个计算节点压缩到一套2U机箱内，由机箱提供存储，并集中供电和散热。
而这套戴尔PowerEdge FX2，机箱除了集中供电和散热外，还有PCIe扩展槽、交换机等I/O功能，就是不像常规2U4那样提供传统硬盘位（存储），而是把硬盘放在特定的节点上——每个计算节点上也有，更像刀片式服务器的2U机架形态。至于你质疑的四分之一宽计算节点FC430，别看它宽度只有12厘米，但是它很长……
”说着龙哥将其中一个节点缓缓拉出，我一眼就看到了两个亮晶晶的铜制散热片——“所以，也是双路至强E5处理器配置的服务器？！”
“没错！”龙哥嘴角微微翘起，“它不仅是双路的计算节点，而且是不‘缩水’的计算节点，支持120W TDP规格的CPU，可达至强E5-2695 v4，18核36线程，
单节点最大提供72个逻辑处理器，一个2U机箱内就可以支持576个计算核心……
”
除了震惊，还是震惊！2U空间里面有用576个计算核心……怎么做到的？！快速心算一下：8个双路FC430，共16颗至强E5 v4 处理器，单颗CPU最高可18个物理核……总计576个计算核心，比标准的2U双路机架式服务器的密度高了8倍，换言之——
计算核心多了1300%
！如果2U机架式服务器要提供576个计算核心，则需要16U的机柜空间。
这计算密度简直就是高性能计算HPC或者虚拟化（如VDI）的最佳拍档。
要知道，就是以高密度著称的2U4节点服务器，也只能在2U高度下提供288个计算核心，戴尔FX2在计算密度上依然高一倍！
周边一体化设计
一开始就被龙哥的FX2来了个“下马威”，心底有点小不服气，我开始仔细端详这台不一样的多节点服务器，为什么会倍受龙哥推崇：
传统的2U4是
后面插4个计算节点（每节点提供一个或两个PCIe扩展仓），
前面的12个3.5英寸硬盘或24个2.5英寸硬盘固定平分到每个节点（3×4或6×4）。
简单的说，就是硬盘统一在机箱正面热插拔，节点和共享的冗余电源在机箱背面热插拔。
戴尔FX2的节点则可以分为计算和存储两类，全部从前面插入，便于维护。因此，每个节点上只有两个2.5英寸的硬盘仓（此处窃喜，只有两个够装操作系统的硬盘仓……还是要接外部存储才能用啊，我以为找到了龙哥的软肋）。再看后面：右侧是两组热交换电源模块（一组2000W，够劲），中间是8个竖插的PCIe扩展模块，左侧是……交换机模块还是网卡接口模块呢？
见我这么努力的想找FX2的短板，龙哥嘿嘿一笑：“你还是只说对了一半，FX2确实在单个计算节点上没有提供太多的硬盘位，那是因为SATA SSD已经不是高性能的代名词了，想用高性能的SSD，后面的8个PCIe插槽可以安装PCIe NVMe SSD，
现在单片PCIe SSD容量可以支持16TB，或者干脆外接存储使用，只要把后面的这个交换机模块换成FN2210S……
我想这也是它被称为融合架构的原因之一吧，区别于作为超融合系统的普通2U4服务器，能适合更多变的任务需求。”
说着龙哥从他手机上调出一张
FX2全家福
，乍一看，这简直就是KFC的全家桶啊：
计算类节点：4路全宽、2路半宽、2路1/4宽、单路4合1半宽，共4种计算节点，而且还能混插。
我听完龙哥的介绍，脱口而出：
这一台FX2俨然就是一套完整的融合设备啊。
“那是，要做超融合设备，或者Server SAN，自然也是小菜一碟。
”
融合架构变身Server SAN
“超融合？Server SAN？存储怎么配？”
龙哥见我已经上道，立刻露出了“老司机带你开车”的笑容，随即抽出一台FX2下排的4个FC430节点，然后从旁边抱起一个沉甸甸的半宽设备，插入到FX2机箱空出的位置。在龙哥拿起另一个同样设备准备安装的时候，我拦住了他，原来是个装满硬盘的……“存储节点，里面装了16个2.5寸SAS硬盘”，没等我开口，龙哥解释道。
安装完两个半宽的FD332存储节点后，画风就变成这样了：
这是从8个FC430的高密计算平台变身（4节点）Server SAN存储平台的过程。
具体到每一套PowerEdge FX2，由4个FC430双路计算节点带2个FD332存储节点，FD332具备的Dual PERC特性，可以将单台FD332的16个SAS/SATA硬盘（或者SSD）均分给2个计算节点。因此，等于是每个FC430计算节点都挂上了8个2.5英寸SAS硬盘。
而且，而且，而且，它还不需要再用其他的交换机了！因为FX2后面的网络模组支持各个节点间的二层网络。
这套FX2构建的Server SAN只需几根网线连接上服务器就能为应用提供存储服务。
同时，基于FX2的Server SAN相较于传统的2U4节点的Server SAN具有明显的优势，如下表：
虽然只是一个小小的2U机箱，但内部却集计算、存储和网络一体，分解开来，就是一个小型IT系统：
这套（单台）FX2融合架构组成的Server SAN拓扑图：相比传统的2U4超融合架构，这套FX2的Server SAN每节点是2个（2.5寸）系统盘+8个数据盘，比传统的2U4多4个盘位（采用2.5英寸硬盘时，均分到每节点6个），而且每个节点都可以分配两个PCIe插槽，可以安装新世代的PCIe NVMe SSD配合使用（作为缓存或分层存储），极大的提升了系统整体的性能；机箱内集成FN410 10G交换机模块,不需要再用外接的10G交换机了，系统干净整洁。
以往想搭建一套Server SAN，起码要准备3台以上的服务器，后端的网络接口也多，系统搭建又耗时，又费力，还乱七八糟的，光说这走线，我都被老大（CIO）批了好几回了，可是这种Server SAN，光纤、铜缆、管理口各自为政，剪不断理还乱啊，要是早知道FX2这么整体的部署，少遭多少精神摧残啊！我想着想着都傻笑起来。
老江湖龙哥又一眼就看穿了我的心思，哈哈一笑，说道：“这还不算什么，还有更炫的。上面演示的是Server SAN。如果加上应用呢？如果有两套FX2的话，可以是FC830 × 2 + FC430 × 4 + FD332 ×2。”
上下两套FX2就构成了一套企业关键业务高可用架构，两台FC830做HA双机，下面一套基于FC430的ServerSAN，这也太简洁了吧，貌似就插几根光纤就搞定了以往IOE的全套活了。
这时龙哥又在他那部手机上捣鼓了一会，发给我一个图——FX2目前提供的组合功能，看似并不起眼的FX2居然能玩出这么多花活……我真的被这一设计给震惊到了。
“很神奇吧？”龙哥拍了拍目瞪口呆的我，“还有更神奇的呢，下午我给你演示演示如何在1个小时候内完成Server SAN部署。”
“为什么不是现在？”我疑惑地问龙哥。
“现在？”龙哥神秘地说，“现在当然是要先去吃午饭，身体才是搞机的本钱！”
在三环边上的小餐馆，我们撸着串，喝着
啤酒
冰红茶，龙哥自动开启了吹牛模式，把市面上各家厂商的2U4多节点服务器都给点评了一番，不愧为老司机，车开的多了，感受都要更深刻一些。我也很好奇，为什么龙哥对看似已寻常的多节点服务器有这么大的兴趣。
2U"x"的世界
“2U4确实省地儿啊，你想想，现在机房有几个不缺空间，不缺电的？机架空间紧张，还没有足够的电，可是IT应用却排着队等着上线，你说说，这CIO该怎么办？上虚拟化、用SDS？说起来都简单！”龙哥左手挥舞着一大把签子比划着：”当你要把几台几十台机器组成一个集群的时候，就会发现，传统的机架式服务器并不是那么美好，复杂的网络连线，部署没你想的那么快，运维也……”
眼见龙哥扯的要没边了，我赶紧提出了我的疑问：“龙哥，
在2U的机架空间里，您认为2U4更适合还是2U8更适合呢
?”
听到这个问题，龙哥放下手中的扦子，从他手机上翻出一张图，这是戴尔模块化服务器的演化史，可以看到
Dell
PowerEdge FX2的三个显著特点是支持
PCIe
灵活分配，既能
Scale-out
（横向扩展）又能
Scale-up
（纵向扩展）……
“图中没有透露的是，戴尔FX2在2014年发布之后还有小幅的演进优化，再加上之前类似形态的刀片产品，则有十多年的积累了，肯定比刚跟风涉足2U4领域的厂商更有心得。
-
如果用户需要的计算密度高，对存储没有太多要求，或者配合外接SAN存储，2U8自然是占优势了；
-
如果用作软件定义存储（SDS），2U4的模式更适合，因为可以为存储留出足够的空间；
-
如果对单一节点的计算性能要求高，2U2的双4路服务器节点也是可以考虑的……
所以啊，
FX2能从2U8支持到2U2
，具体上什么形态要看用户需要什么，灵活组合就能满足用户各种不同的需求。”
听到龙哥讲到SDS，我眼前一亮，这阵子一直被CIO追着屁股后面要SDS市场分析和产品选型建议，可是这SDS市场鱼龙混杂，一时间也理不清头绪，正好问问龙哥：“SDS现在除了商业化的产品，开源的大都基于Ceph环境吧？”
“的确，现在Openstack的流行带着Ceph已经成为开源SDS的标杆了，不过要想玩好Ceph，是件困难的事儿……”龙哥撸完最后一根串后，眼神产生了变化：“我最近刚在实验室的FX2上部署了一套Ceph的SDS环境，借助FX2的统一管理平台，可以实现快速部署Ceph环境，哥这就回去让你见识见识！”
“3+1”的模式
回到龙哥的实验室，龙哥拉开另一个机柜的门，我一眼就看到这么一套组合，相比上午给我反复讲解的2U8节点FC430的配置，这套环境给我的启发更大，因为我觉得已经清楚怎么在自己的环境中使用FX2了…？
老司机开腔了，让我的思绪转回到“如何落地”上：
这是一套致力于高可用的关键业务系统，由两套FX2节点构成，上面这套是3台FC630双路计算节点+1台FD332存储节点构成的全闪存储池+HDD存储池的SDS环境，运行的正是你刚才问的Ceph；下面的一眼就能看明白了——两台FC830全宽四路计算节点构成的双机高可用（HA）计算平台。
看图学画“SDS”
接着龙哥开始为在FX2上搭建一套基于Ceph的Server SAN分布式存储系统做准备。“当然了，社区版的Ceph不能称为产品（连界面都没有），不适合你这样的用户，我这里用的是XSKY的X-EBS。XSKY（星辰天合）与戴尔同属未来就绪企业云联盟（Future Ready Enterprise Cloud Organization，FRECO）的成员，我去他们的研发机房看过，大量使用戴尔的服务器，对戴尔服务器的优化工作肯定没问题——你知道SDS与硬件的紧密集成还是很重要的……”
戴尔与XSKY联合推出的飞云存储系统
“R730xd被大量用于SDS这我知道，还是接着说FX2吧。”我太了解龙哥了，这家伙思维很跳跃，必须及时把他拉回正题。
“好吧。看看我这套配置：2U4节点的FX2中使用3个FC630计算节点，和一个FD332存储节点（分配给两台FC630，形成HDD存储池）；每个FC630分配至少两个PCIe扩展槽，分别安装双端口万兆网卡和PCIe NVMe SSD（形成的SSD存储池）。”
整个Server SAN架构大致如下图所示：
“理论上，使用FX2的网络模块FN IO就可以构建一套Server SAN，但遗憾的是，这台FX2上配置的是较老的千兆模块，对于多副本数据保护机制的Server SAN来说，使用万兆网络更有利于性能发挥，所以添加一台Mellanox（迈络思）的万兆交换机来连接FX2的各个节点。“追求架构“优美”的龙哥一脸遗憾地解释。
我问了龙哥关于FX2的一些详细的配置，最后整理成下表：
|
平台/子系统
|
详细配置
|
|
计算平台
|
戴尔 PowerEdge FC630 ×3
每节点：Intel Xeon E5-2690 v3 ×2，2.6GHz，12核24线程
64GB内存，2133MHz
|
|
存储平台
|
SSD资源池：1.6TB NVMe SSD ×3（每FC630节点1个）
硬盘资源池：戴尔 PowerEdge FD332 ×1
15,000 RPM SAS HDD 600GB ×8
10,000 RPM SAS HDD 600GB ×8
软件：XSKY X-EBS 2.2
|
|
网络平台
|
Mallanox SX1024交换机
|
|
操作系统及软件
|
操作系统：CentOS 7.2.1511
|
FD332：存储拆分小秘辛
我正在整理这套FX2的具体配置，突然想到一个问题：FD332里面的硬盘怎么分配？
