这是继DeepSeek公布其MoE模型训练推理方案后,业界首个基于国产算力的全新解决方案。
业内分析人士称,之前DeepSeek是基于英伟达实现大规模跨节点专家并行集群推理,现在科大讯飞基于昇腾实现了这个方案。
科大讯飞研究院表示,这一突破性的解决方案将应用于讯飞星火深度推理模型的训练加速,预期训练时推理效率将提升200%。同时,基于该方案的推理引擎也实现了国产算力上DeepSeek-V3和R1的高效推理。
DeepSeek激发了新一波AI创新浪潮,强大的算力底座成为创新的关键。据了解,国内很多企业与机构选择基于昇腾部署DeepSeek,昇腾相关产品和解决方案已覆盖互联网、金融、运营商、政务、教育等30多个行业。其中,已有70多家软硬件企业或机构基于昇腾推出DeepSeek一体机方案。
12日盘中,算力概念板块大涨,临近尾盘,涨幅略有收窄。
首个基于国产算力的MoE模型推理方案
据介绍,科大讯飞与华为的联合团队通过软硬件的深度协同创新,在多个关键技术层面深挖硬件潜力,完成昇腾集群上的验证和部署。
在算子融合方面,团队在MLA预处理阶段通过Vector与Cube异构计算单元并行流水,并将多个小算子融合重构为原子级计算单元,消除小算子下发开销,MLA前处理时延降低超过50%,实现性能的显著提升。
科大讯飞研究院介绍称,在混合并行策略和通信计算并行优化方面,团队构建了TP(张量并行)+EP(专家并行)混合范式:对MLA计算层采用机内TP并行,发挥机内高速互联优势,降低跨机通信损耗;创新MoE专家分层调度,64卡均衡分配专家计算节点,定制All To All通信协议,专家数据交换效率提升40%,构建跨机/机内双层通信架构,通过分层优化降低跨机流量60%;同时研发路由专家负载均衡算法,实现卡间负载差异小于10%,集群吞吐提升30%。
通过分布式架构创新与算法协同优化,联合团队在国产算力上实现了显著的性能提升。单卡静态内存占用缩减至双机部署的1/4,效率提升75%,专家计算密度增加4倍,推理吞吐提升3.2倍,端到端时延降低50%。