专栏名称: 新华三
新华三集团官方账号
目录
相关文章推荐
中国舞台美术学会  ·  企业风采丨用数智演艺创新文旅业态,大丰助力景 ... ·  2 天前  
中国舞台美术学会  ·  分享丨灵感来自早期游戏世界的沉浸式水晶灯光装置 ·  3 天前  
中国舞台美术学会  ·  观察丨经典,在首都舞台焕新重塑 ·  3 天前  
中国舞台美术学会  ·  观察丨“演艺之都”风景线百花齐放,新空间撬动大可能 ·  5 天前  
贵州省文化和旅游厅  ·  文化丨第六届中国民族美术作品展开幕 ·  2 天前  
51好读  ›  专栏  ›  新华三

分布式存储:DeepSeek算力平权时代的“智慧粮仓”——以弹性架构护航AI推理革命

新华三  · 公众号  ·  · 2025-02-17 18:10

正文

图片

近日,DeepSeek凭借其R1系列大模型(参数规模达6710亿)和开源生态的突破,迅速成为全球AI领域的焦点。通过更高效的硬件加速(如 GPU、TPU、专用AI芯片)和分布式计算,缩短训练周期并提高推理效率,打破算力鸿沟,进一步推动了大模型的普及与算力平权的实现。

然而,算力平权的背后,是对海量数据处理与推理效率的严苛挑战:

带宽与并发性能的双重压力: 单次训练需处理PB级多模态数据,且API服务因用户激增频繁遭遇资源瓶颈,DeepSeek需要有足够的存储带宽和并发性能来满足大规模实时访问与读写请求。
实时响应需要更低延迟: 智能搜索和推荐系统要求低延迟和高并发,尤其是在用户进行实时查询和交互时,需要快速推理并返回结果。在这一过程中,同样需要数据存储为计算任务提供低延时访问与读写服务,优化实时响应能力。
数据跨协议访问: 大模型向多模态发展是可预见的主流趋势,作为一个处理多种类型数据的智能平台,需要高效的跨协议数据访问能力。在进行文本数据、图像数据和视频数据的联合分析时,平台必须能够无缝连接并处理多种数据格式和协议。
高可用性与故障容错: DeepSeek在多个节点之间进行分布式计算,并且根据流量变化进行动态负载均衡,以确保数据的处理能力不受限制。通过高性能分布式融合存储,使得系统能够灵活扩展、资源动态分配、故障实时预警、多租户隔离管理等,自动调节计算和存储资源。

Polaris X20000

高性能智算存储助推算力平权



DeepSeek为AI技术算力平权提供了新的机会,加速了大模型的普及与发展。当更多的企业开始使用大模型作为创新引擎,需要从底层架构上实现更高效的模型训练。
新华三Polaris X20000高性能智算存储面向AI大模型应用工作负载提供了多项底层优化,单节点80GB/s带宽、200万IOPS优异性能,大规模集群性能近线性增长,满足智算应用海量小文件高性能并发和百TB级带宽需求;面向AI智算多样性数据处理,Polaris X20000一个逻辑资源池同时支持文件、对象以及大数据应用,跨协议访问无需转换数据格式,实现跨协议访问性能无损、语义无损。Polaris X20000的底层优化技术包含:
元数据优化,加速访问性能: 元数据直接影响到文件系统的性能、可扩展性和可靠性。Polaris X20000高性能智算存储对kv数据库实现优化,获得更好的元数据访问、读写与管理效率,从而支撑整个超大集群元数据读写需求;同时通过多级的元数据缓存,对元数据缓存结构对了针对性精简,减少内存占用,对元数据访问具有极大的加速效果。此外,通过多MDS、元数据打散、元数据协程化免锁等多种元数据性能优化,提升数据存储性能表现。
缓存智能分层,降低Token调用成本 : 通过上下文感知的缓存算法,自动识别高频访问数据(如用户重复查询的数据),将其分层存储于NVMe SSD,缓存命中率提升至90%以上,持续降低Token调用成本。
高性能EPC客户端,完美兼容上层应用: 通过独有的高性能EPC客户端,下一代分布式智算存储可同时连接多个存储节点,对上层应用提供标准POSIX和MPI-IO接口,获得更好的兼容性和更优的性能,多存储节点实现IO级负载均衡,最大程度发挥单节点性能。

协议互通与跨协议访问,协议/性能双无损: 基于单一元数据管理架构,使得文件、对象、HDFS等非结构化数据共享唯一一份元数据,一份数据,在存储系统中仅保留一份,但可以同时被不同的上层业务系统使用,从而实现数据就地处理,跨协议访问“协议无损”和“性能无损”。

<>

分布式存储,为AI创新注入新的活力








请到「今天看啥」查看全文