仅仅快了“半步”？

让我们言归正传，HPC (High-Performance Computing)，即高性能计算，通常指使用很多处理器（作为单个机器的一部分）或者某一集群中组织的多台计算设备（作为单个计算资源操作）的计算系统和环境。有许多类型的HPC 系统，其范围从标准计算机的大型集群，到高度专用的硬件。大多数基于集群的HPC系统会使用高性能低延迟网络互连。

今天的HPC应用日新月异，高性能计算驱动的变革成为科研领先、工业行业领先、经济进步、国家和地区安全的先决条件。

然而HPC用户普遍遇到以下挑战，用户需要更好的密度优化并且极具弹性的架构以应对今天新的工作负载。

面向未来的Dell HPC 解决方案

让客户丰富多样的HPC计划来适应厂商的解决方案吗？答案是否定的。Dell基于未来就绪的HPC解决方案，以及从未停止收购科技前沿公司的步伐，将其技术融合到Dell的创新解决方案中，不断拓展了我们解决方案的边界。

那么谁家HPC又更快半步呢？

Dell & Intel 联合认证 的

Lustre HPC解决方案

业界HPC解决方案很多，相信业内人士都能如数家珍，但我们知道的Lustre， 在全球超级计算市场Top 100用户中有70%的用户使用Lustre, Intel Enterprise Edition for Lustre是其中成熟稳定且不断向前演进的商业版本。

对于中大规模HPC集群，数据量较大时，我们可以配置并行的文件系统，如Intel Enterprise Edition for Lustre （IEEL）。归档系统可以采用磁带库，由IEEL或其他归档软件实现。

Dell 公司美国高性能计算产品部门，针对当前市场HPC存储市场的需求、并行文件系统技术的发展趋势， 采用Dell 领先的服务器、存储、网络产品，和Intel 公司合作，共同推出了 Dell Intel Lustre 高性能存储解决方案。

我们将装有Intel Enterprise Edition for Lustre软件的Dell HPC存储设备称为安装了Intel EE for Lustre软件的Dell HPC存储设备， 此款存储设备是为那些需要部署完全受支持、易于使用、具有高吞吐量、能够横向扩展且经济实惠的并行文件系统存储解决方案的学术研究和行业用户而设计的 。安装了Intel EE for Lustre软件的Dell HPC存储设备是一款可横向扩展的存储解决方案设备，能够提供高性能和高可用的存储系统。

该解决方案利用智能、丰富且直观的管理界面（即IML, Intel Manager for Lustre ），大大简化了所有硬件和存储系统组件的管理和监控。它在容量和性能方面易于扩展，从而为未来增长提供了方便的途径。

Dell HPC存储系统通过采用Dell PowerEdge 服务器，Dell PowerVault 存储设备，Dell Force10网络设备和Intel Enterprise Edition for Lustre 商用并行文件系统，组成稳定可靠，高性能且经济性佳的整体解决方案。 根据用户的要求，和Dell Intel 在高性能存储领域的经验，我们提供了一个可以快速部署、高可用、并可以提供安装部署，售后服务和技术培训的整体解决方案。

提供高性能的

并行文件系统Lustre

Lustre是一种并行文件系统，它通过并行数据访问和分布式锁定功能来提供高性能。一个Lustre安装实例由以下三个关键要素组成：元数据子系统、对象存储子系统（数据）和用来访问和操作数据的计算客户端。

元数据子系统 由元数据目标(MDT)、管理目标(MGT)和元数据服务器(MDS)组成。MDT存储文件系统的所有元数据，其中包括文件名、权限、时间戳和数据对象在对象存储系统中的位置。MGT存储管理数据（如配置信息和注册表）。MDS是用来管理MDT的专用服务器。

对象存储子系统 由一个或多个对象存储目标(OST)和一个或多个对象存储服务器(OSS)组成。OST为文件对象数据提供存储，而每个OSS则管理一个或多个OST。通常，在任何时候都有多个OSS处于活动状态。Lustre能够通过增加活动OSS（和相关OST）的数量来提高吞吐量。每增加一个OSS都会提高现有的网络吞吐量，而每增加一个OST都增加存储容量。下图显示了典型的Lustre配置中MDS、MDT、MGS、OSS和OST组件之间的关系。

HPC集群拓扑图

并行文件系统（如Lustre）通过跨多个对象存储目标(OST)分布数据（“条带化”数据）来提供高性能和可扩展性，从而使多个计算节点能够同时以高效方式访问数据。在设计Lustre时，需要考虑的一个关键因素就是将元数据访问与IO数据访问分开以改善总体系统性能。

Lustre客户端软件 安装在计算节点上以允许访问Lustre文件系统上存储的数据。对于客户端来说，文件系统显示为单个在装入后可进行访问的命名空间。由于只需要这一个装入点，因此为访问应用程序数据提供一个简单的起点，并且还可以通过本机客户端操作系统工具进行访问，从而更方便管理。

Lustre包括一个先进的增强型存储网络协议，该协议的名称是Lustre 网络（简称LNet）。LNet能够利用某些类型的网络功能。例如，当安装了Intel EE for Lustre软件的Dell HPC存储设备使用InfiniBand作为网络来连接客户端、MDS和OSS时，LNet使Lustre得以利用InfiniBand结构的RDMA功能，提供比典型网络协议更快的I/O传输和更短的延迟时间。

满足高性能需求的

Dell HPC 存储集群方案

安装了Intel EE for Lustre软件的Dell HPC存储设备组件，请参考下图：

Dell HPC存储集群拓扑图

在该配置中，安装了Intel EE for Lustre软件的DellHPC存储设备解决方案将Dell PowerEdge R430服务器用作管理服务器，R630服务器用作对象存储服务器和元数据服务器。该解决方案支持Mellanox (40 Gb/s)适配器，该适配器利用Dell的第13代服务器所支持的PCIe 3.0, 通过Dell S4048-ON低延迟数据中心交换机互联MDS和OSS, 满足项目对于性能的要求。

Intel Manager Server是通过内部1GbE网络与元数据服务器和对象存储服务器相连的单个服务器。

管理服务器负责用户交互、系统运行状况管理和基本的监控数据，这些数据是通过交互式Web GUI控制台Intel Manager for Lustre来收集和提供的。对于安装了Intel EE for Lustre软件的Dell HPC存储设备的所有管理访问都将通过此服务器来执行。虽然管理服务器负责收集与Lustre文件系统相关的数据并为该解决方案提供管理，但它在Lustre文件系统或数据路径本身中不扮演主动操作角色。

Intel Manager for Lustre (IML) GUI可降低安装的复杂程度并尽可能缩短Lustre部署和配置时间。它还自动监控不同组件的运行状况和性能。 缩减部署和配置工作所需的时间和工作量可加快为投入生产所做的一般准备。自动监控可为最终用户提供更好的服务，而不会增加系统管理员的负担。另外，使用该解决方案所提供的工具，可帮助解决与文件系统性能相关的问题。最后，监控工具能够保留历史信息，通过监控工具可以为扩展、维护和升级存储设备做更好的规划。

元数据服务器对（如下图所示）由两个Dell PowerEdge R630服务器组成，这两个服务器配置为主动/被动高可用性群集。每个服务器都直接连接到单个用来存放Lustre MDT和MGT的Dell PowerVault MD3420存储阵列。Dell PowerVault MD3420用24个300 GB、15K RPM、2.5英寸近线SAS驱动器完全填充，这些驱动器配置于带有2个热备盘的22磁盘RAID10中。在该元数据目标(MDT)中，该解决方案为文件系统元数据提供大约3TB空间。元数据存储服务器（MDS）负责处理文件和目录请求并将任务路由到相应的对象存储目标上执行。使用单个具有此大小的MDT时，最多可以为16亿多文件提供服务。在该解决方案中，存储请求由单个40Gb/s 连接通过LNet来处理。

元数据服务器对

对象存储服务器（如下图所示）排列在双节点高可用性(HA)群集中，它们提供对两个Dell PowerVault MD3460高密度存储阵列（每个阵列都有MD3060e扩展盘柜）的主动/主动访问。每个PowerVault MD3460阵列都用60个6TB的3.5英寸NL SAS驱动器填充。每个PowerVault MD3460阵列的容量都用一个额外的PowerVault MD3060e高密度扩展阵列进行扩展。 此配置为每个OSS对提供1440TB的原始存储容量。

对象存储服务器对

对象存储服务是该解决方案的构建块。利用每个PowerEdge R630中的两个双端口12Gb/s SAS控制器，两个服务器均以冗余方式连接到两个PowerVault MD3460高密度存储阵列。

将每个存储阵列分成六个RAID 6虚拟磁盘（每个虚拟磁盘中包含八个数据磁盘和两个奇偶校验磁盘），并在每个阵列托架中使用两个磁盘。这会在每个盘柜中生成六个对象存储目标。通过使用RAID 6，该解决方案以边际成本针对写入性能提供更高的可靠性（由于每个RAID 6需要一组额外的奇偶校验数据）。 使用安装了Intel EE for Lustre软件的Dell HPC存储设备解决方案，单个OSS对通过向MD3460阵列中添加PowerVault MD3060e扩展阵列拥有20个OST。OST通过40Gb/s 以太网连接，使用LNet提供给客户端。

在从配有Lustre客户端的任何计算节点查看时，整个命名空间可以像任何其他文件系统那样查看和管理，但它具备Lustre管理增强功能。

在主动/主动群集配置中提供对象存储服务器会生成更大的吞吐量和产品可靠性。 此配置提供高可用性，它降低维护要求，并因此缩短潜在的停机时间。

戴尔PowerEdge R630服务器提供性能和密度。该解决方案为每个OSS对提供1440TB的原始存储。该解决方案还利用Dell Force10 S4048-ON 40Gb/s互连实现极高速度的低延迟存储事务。 PowerEdge R630针对InfiniBand 40Gb以太网卡使用PCIe Gen3接口，帮助实现更高的每OSS网络吞吐量。

对于具有Mellanox OFED版本2.2-1的RHEL6.5内核，基于RPM的Lustre 2.5.23版客户端可用于访问安装了Intel EE for Lustre软件的DellHPC存储设备。

可以通过添加具有存储后端的额外OSS对来扩展安装了Intel EE for Lustre软件的DellHPC存储设备，因此总网络吞吐量和存储容量将立即增加。这样，会在网络吞吐量保持最大的情况下增加可用存储量。

专用管理网络为Lustre和Lustre HA功能提供通信基础架构，还提供存储配置、监控和维护。此网络会创建为了便于执行日常操作和限制故障排除与维护范围而所需的分段。管理服务器使用此网络与不同的解决方案组件进行交互，以查询和收集系统运行状况信息，并执行由管理员启动的任何管理变更。

OSS和MDS服务器与管理服务器进行交互，以便提供运行状况信息和性能数据并在执行管理操作期间进行交互。从带外（外部端口）访问PowerVault MD3420和MD3460控制器，以监控存储阵列的运行状况并针对存储后端执行管理操作。

操作人员甚至可以使用这种级别的集成，毫不费力地高效监控和管理该解决方案。对所提供的信息进行了汇总以供用户快速查看，但是用户可以将服务器组件或存储组件的消息放大到所需的详细程度。

Lustre文件系统通过40GbE上实施的Lustre网络 (LNet) 获得服务。客户端正是使用此网络来访问数据。 Intel Manager for Lustre(IML) GUI界面提供了一个用来将MDS和OSS服务器上的多个Lustre网络标识符(NID)服务器配置为参与Lustre网络的选项。例如，您应当在OSS服务器上将40GbE以太网接口（即eth0）配置为均参与Lustre网络。

在40GbE网络中，可以实现较快的传输速度和较短的延迟时间。LNet利用RoCE在MDT和OST与客户端之间快速传输数据和元数据。OSS和MDS服务器利用具有双端口Mellanox ConnectX-3 40 Gb适配器架构，从快速传输速度获益并利用以太网技术的较低成本和普遍性。

Intel Manager for Lustre (IML) 通过提供一个用于进行管理的集中式Web GUI，使Lustre文件系统的管理不再复杂。例如，可以使用IML作为对以下操作进行标准化的工具：启动从一个节点到另一个节点（对于OSS或MDS）的文件系统故障转移、格式化文件系统、发出对目标的装入和卸载命令、监控Lustre文件系统的性能和其各个组件的状态。下图说明了几个IML监控界面。

IML是基于Web的管理控制台，可用来管理解决方案（假设满足了所有的安全要求）。它提供硬件、软件和文件系统组件的视图，而且还可用于进行监控和管理。

如果使用IML，那么，以前需要复杂CLI指令的许多任务现在只需单击几次鼠标即可轻松完成。IML可用于关闭文件系统、启动从一个MDS到另一个MDS的故障转移、进行监控等。

Intel Manager for Lustre (IML)界面