上篇：乐高小电影之多节点服务器
中篇：快搭Server SAN前奏：融合架构三要素
“Server SAN和超融合系统，在部署上有什么区别？”龙哥问道。
看我不知从何说起，龙哥自答：Server SAN是把用于替代传统SAN的软件定义存储（SDS）部署在多个物理节点上，超融合则是在虚拟化环境中进行类似的部署。
你是说超融合系统多了个部署虚拟化环境的环节？不过，“一小时”能做完这些么？想想我给办公室搭一台文件共享的NAS，还花了一天的时间，这涉及到多个节点的Server SAN和超融合，虽说有可以并行的环节，真能在一小时内搞定？
龙哥见我面露疑色，就拍了拍我肩头：“不相信？哥今晚约了你嫂子吃饭看电影，一个小时必须能搞定！”
我怎么能不惊讶呢，这个搞机狂魔居然有时间交女朋友了！时间从哪里来？
还是先为自己的事儿操心吧……传统企业级生产环境的部署始终是一个费时耗力的过程。按照传统方式部署一套企业级虚拟化平台，怎么着也得好几天，这还算小型环境，要是大型环境，加上设备采购安装，没有三五个月根本搞不定。构建超融合难道真的能这么快？我一直以为那些宣传都是极大夸张了的呢。
龙哥见我不信，就问：“就这套系统，从上架、加电到现在准备就绪，用了多长时间？”
“大约半个小时吧？”我有点不太确定地说。
“实际上还可以更短时间。”龙哥坚定地说，“FX2采用模块化设计，所有组件齐备，上电就可以使用，甚至不需要外接交换机。实际上，你只要接通电源，然后花两分钟分配好FD332直连存储模块和PCIe插槽，就可以开始部署了。”
根据龙哥的描述，我粗略整理了一幅安装流程图，看起来很简单的样子
龙哥一边说，一边通过iDRAC依次给三个FC630节点挂载上CentOS7.2系统镜像，然后开始安装。利用等待安装完成的这段时间，龙哥解释说，因为只是一个小型环境，所以手动完成这些并不复杂。如果规模比较大的话，可以用DellOpenManage或第三方工具来进行统一的安装、部署和管理，就是上百台服务器，也可以批量完成系统安装。
约20分钟后CentOS系统安装完毕，龙哥又通过iDRAC将另外一个镜像挂载到FC630上面：“这是XSKY的X-EBS安装镜像。基于Ceph的商业化SDS产品，一键安装，很方便。”
3个FC630计算节点+1个FD332直连存储模块的资源分配图，采用了外部的Mellanox万兆交换机
X-EBS安装很快，不到10分钟的样子，龙哥通过浏览器登录了X-EBS的管理后台，将另外两台FC630节点上的存储资源（各分配了FD332的一半硬盘）加入到同一个资源池。
添加存储节点和硬盘，上图可以看到，在node01上添加了8块磁盘和一块NVMeSSD。虽然两种转速（15k RPM和10k RPM）的磁盘性能有差异，但在SSD的性能面前，这点差异完全可以忽略不计
当3台X-EBS Controller虚拟机与对应存储都添加进来之后，就开始设置存储资源池了：
将分布在3个节点上的NVMe SSD添加到一个资源池（High-pool）内，并将副本数设置为2（X-EBS提供了三种选择，分别为1、2、3副本）。
设置好资源池之后，再创建相应的卷（Volume），Server SAN就可以对外提供存储服务啦。
点击“创建块存储卷”，然后输入名称并分配容量大小
龙哥一边操作，一边讲：“应用服务器（计算节点）可以通过两种方式访问Server SAN提供的存储服务：第一种是在应用服务器上安装一个类似Agent的客户端，进行数据传输，XSKY的X-CBS就属于这一种；X-EBS属于第二种，可以通过标准的iSCSI接口跨网络访问。在需要存储服务的（计算）节点上安装iSCSI客户端，然后会生成一个iSCSI的iqn号码；在X-EBS后台管理界面中添加对应的客户端，将服务器节点的iqn号码填入，即可分配存储服务。这第二种方法，接下来在VMware环境中的部署会讲到。”
“Server SAN的安装这就完成了？还没在计算节点上配置访问呢。”我看龙哥已经准备将刚搭建好的这套Server SAN系统铲掉了。
“通常我们说到Server SAN，默认是指一种计算和存储分离部署的架构，也就是提到FX2时经常说的‘融合架构’。既然是分离部署，部署Server SAN就是存储端的任务，不用涉及计算节点啊。”
“我知道哥要赶时间，但也不能这么打发我啊……”
“你把哥当什么人了！接下来不是要部署超融合么？肯定会让你看到计算节点上的部署——当然，在虚拟化环境中，是会更方便一点儿。”
“超融合是不是可以理解为，把Server SAN部署在虚拟化环境中，与应用跑在一起？”
龙哥笑道：“今天哥确实赶时间，就不在鸡蛋里挑骨头了。Server SAN是超融合的基石，可以说超融合代表了Server SAN的一种使用场景——本来超融合架构就是融合架构的一个子集。当Server SAN单独使用时，就是将存储控制器（软件功能）直接安装在物理服务器上；而在超融合系统中的Server SAN，则是将存储控制器部署在虚拟机或者hypervisor之中。虽然形态不同，但本质上没有明显差别。所以，你的理解基本正确。”
Server SAN与超融合的架构区别，主流超融合比Server SAN多了一个虚拟化层，其上VM不但有分布式存储控制器，还可以有其他应用VM
听龙哥梳理Server SAN与超融合架构的血缘关系，我才理解他以前所说“企业用户对Server SAN的接受度很大程度上是拜超融合所赐”的含义。既然在3个节点上部署Server SAN真的用不了一个小时，部署超融合也只是多了安装hypervisor的时间而已吧？
龙哥呵呵一笑：“小子，上道够快的！超融合能有多难？也就一个小时的事儿！”我当然举双手赞成。还用这套Dell PowerEdge FX2，龙哥开始将其部署为一套超融合系统。
安装VMware vSphere虚拟化平台的过程大家都很熟悉，龙哥依次在三个FC630节点上安装ESXi 6.2 hypervisor——这一步可以并行化，所以时间并不算长。然后用WindowsServer 2012 R2操作系统构建两台虚拟机，分别用于Active Directory和vCenter Server。接着登陆vCenter将三台ESXi主机添加到同一个集群。
同时，还需要将ESXi主机上的NVMe SSD和FD332设置为直通模式，用于安装XSKY X-EBS。如下图所示：
将FD332的8块磁盘（即上图红框中的LSI FD332 PERC）和NVMe SSD（上图中的Unknown Non-Volatile Memory Controller）勾选设置为直通模式
安装完虚拟化平台之后，就可以安装XSKY X-EBS分布式存储软件了。
首先，要在每台ESXi主机上都创建一台虚拟机，并安装CentOS 7.x操作系统，用于XSKY X-EBS的分布式控制器——X-EBS Controller。这种虚拟机，在超融合系统中通常被称为CVM（Controller Virtual Machine，控制虚机）。为了让CVM高效的处理存储I/O，需要将ESXi主机上的存储资源——NVMe SSD和FD332存储——直通（pass-through）给对应的X-EBS Controller，如下图所示：
将ESXi主机上的NVMe SSD和FD332存储直通给对应的X-EBS Controller，可以看到FD332被识别为Dual ROC（RAID on Chip），也就是Dual PERC，只是在SDS的场景下，我们不启用其RAID功能
X-EBS本身的安装，与前面在物理环境下部署Server SAN的对应环节基本相同，此处不再重复。少数不同之处主要是虚拟化环境造成的，这里面有一些便利，譬如：龙哥在安装vCenter服务器之后，先创建一个CentOS虚拟机，配置好并克隆成模板。在安装X-EBS分布式控制器的时候，直接用这个模板虚机部署三个节点上的存储控制器，时间大幅节省。
X-EBS支持标准iSCSI协议，也就是说，其他主机（包括ESXi主机、虚拟机或者其他物理主机）无需安装Agent即可使用其提供的存储服务。比如，将这个名为LUN1的卷提供给ESXi主机使用。
首先，在需要添加存储的ESXi主机上添加iSCSI适配器，获得iqn号，如下图所示：
在ESXi主机上添加iSCSI适配器，获得一个iqn，如上图红框所示
然后返回到X-EBS管理界面，创建一个iSCSI访问客户端，然后在提示输入iqn的空白框中输入ESXi主机的iqn。并将LUN1映射到这个iSCSI客户端上，如下图：
将LUN1映射给iSCSI客户端
然后回到ESXi主机上，在配置界面选择存储器，然后添加存储器即可，如下图所示：
将X-EBS整合的存储提供给ESXi主机使用，上图红框中的存储即为XSKY X-EBS所提供的存储
这套基于Dell PowerEdge FX2硬件、VMware vSphere虚拟化平台和XSKY X-EBS分布式存储的超融合系统就构建完成了。其中FX2提供了基础的计算和存储硬件（还有内部或外接交换机），vSphere整合了计算资源，X-EBS则整合了存储资源。整个超融合构建步骤看起来比较多，但过程并不复杂，而且主要集中在软件环节，就连FX2节点之间的存储硬件分配也只需动动鼠标即可，大幅简化了存储的安装和管理。
我仔细看了下时间，构建整套超融合系统真的只用了一个多小时，而且大部分时间都花在安装vSphere虚拟化平台之上，比如安装ESXi主机和vCenter服务器。如果这些虚拟化环境已经事先准备好，在其上部署X-EBS并构成一套简易的超融合系统，根本用不到一个小时。
“还发什么呆呢？我要锁门了哈！”不觉间龙哥已经站到了门口，一幅整装待发的样子。
走出房门，空气中弥漫着春天——哦不，夏天的气息……（全文完）
