突破数据协议壁垒加速智算平台运行效率

新华三 · 公众号 · · 2025-01-02 17:46

正文

当前，支撑模型训练的各类数据呈现爆发式增长。通过对海量数据的学习与分析，人工智能得以洞察数据的内在联系与规律，从而构建出更准确的模型。用于训练的数据规模庞大，来源复杂，由此带来了智算场景下数据存储协议融合的问题。

智算场景下，复杂异构应用往往会导致数据处理流程涉及到对象、文件、大数据等不同类型的协议访问，与此同时，用于智算训练的数据集规模庞大，来源复杂，涉及到各类不同的数据格式。这一过程中，用户时常会面临数据迁移、转换带来的低效问题。

以自动驾驶场景为例，采集到的原始数据是NFS格式，需要先转换为HDFS格式，才能利用大数据平台进行预处理，最终再将数据转换回NFS格式导入AI训练集群及演练仿真集群，进行深度挖掘和处理后，进一步调整自动驾驶策略。

为了应对上层文件、对象、大数据等不同的访问类型，AI/HPC系统通常在一套存储硬件集群上划分出多个独立的逻辑资源池，分别部署对象、块、文件系统的存储池，每个逻辑资源池仅支持单一访问协议。当跨协议访问数据时，需要先行拷贝原格式的原始数据，将其转换格式后，再进行处理及交互。

在数据处理过程中，突破不同类型数据间的访问障碍，实现协议融合，是提升智算平台整体运行效率的有效途径。

重构元数据架构与流程

实现语义、性能双“无损”

新华三H3C UniStor Polaris X20000系列高性能分布式融合存储，基于新华三自主研发的傲擎数据存储平台，重构了“元数据”的架构和处理流程，使得文件、对象、HDFS等非结构化数据共享唯一一份元数据，不同的上层业务系统可高效调用，而无需进行额外的拷贝与转换，从而实现“语义无损”和“性能无损”。