2025年2月27日,DeepSeek 在其“开源周”(Open Source Week)的第四天宣布开源了以下项目:
DualPipe - 这是一个用于 V3/R1 训练中计算-通信重叠的双向流水线并行算法,旨在优化并行策略。
项目链接:
网页链接
EPLB - 这是一个针对 V3/R1 的专家并行负载均衡器,同样是为了提升并行处理的效率。
项目链接:
网页链接
还有一个监视工具。
基本上都是 MoE 的相关工具,没那么令人兴奋所以干脆来了一个数量取胜。
DualPipe - 这是一个用于 V3/R1 训练中计算-通信重叠的双向流水线并行算法,旨在优化并行策略。
项目链接:
网页链接
EPLB - 这是一个针对 V3/R1 的专家并行负载均衡器,同样是为了提升并行处理的效率。
项目链接:
网页链接
还有一个监视工具。
基本上都是 MoE 的相关工具,没那么令人兴奋所以干脆来了一个数量取胜。