一块钱100万token，超强MoE模型开源，性能直逼GPT-4-Turbo

开源大模型领域，又迎来一位强有力的竞争者。

近日，探索通用人工智能（AGI）本质的 DeepSeek AI 公司开源了一款强大的混合专家 (MoE) 语言模型 DeepSeek-V2，主打训练成本更低、推理更加高效。

• 项目地址：https://github.com/deepseek-ai/DeepSeek-V2

• 论文标题：DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model

DeepSeek-V2 参数量达 236B，其中每个 token 激活 21B 参数，支持 128K token 的上下文长度。

与 DeepSeek 67B （该模型去年上线）相比，DeepSeek-V2 实现了更强的性能，同时节省了 42.5% 的训练成本，减少了 93.3% 的 KV 缓存，并将最大生成吞吐量提升 5.76 倍。

DeepSeek-V2 的模型表现非常亮眼：在 AlignBench 基准上超过 GPT-4，接近 GPT-4- turbo；在 MT-Bench 中与 LLaMA3-70B 相媲美，并优于 Mixtral 8x22B；擅长数学、代码和推理。

下面是 DeepSeek-V2 与 LLaMA 3 70B、Mixtral 8x22B、DeepSeek V1 (Dense-67B) 对比结果：

在大海捞针（NEEDLE IN A HAYSTACK）任务中，DeepSeek-V2 在上下文窗口达 128K 时表现良好。

在 LiveCodeBench (0901-0401「一个专为实时编码挑战而设计的基准」) 上，DeepSeek-V2 获得了较高的 Pass@1 分数。

DeepSeek-V2 与不同模型在中文推理、中文语言上的表现：

在价格方面，DeepSeek-V2 API 的定价如下：每百万 token 输入 0.14 美元（约 1 元人民币）、输出 0.28 美元（约 2 元人民币，32K 上下文），与 GPT-4-Turbo 定价相比，价格仅为后者的近百分之一。

模型介绍

DeepSeek-V2 采用 Transformer 架构，其中每个 Transformer 块由一个注意力模块和一个前馈网络（FFN）组成。然而，对于注意力模块和 FFN，研究团队设计并采用了创新的架构。

一方面，该研究设计了 MLA，利用低秩键值联合压缩来消除推理时键值缓存的瓶颈，从而支持高效推理。

另一方面，对于 FFN，该研究采用高性能 MoE 架构 —— DeepSeekMoE，以经济的成本训练强大的模型。

在一些细节上，DeepSeek-V2 遵循 DeepSeek 67B 的设置，DeepSeek-V2 的架构如下图所示：

研究团队构建了由 8.1T token 组成的高质量、多源预训练语料库。与 DeepSeek 67B 使用的语料库相比，该语料库的数据量特别是中文数据量更大，数据质量更高。

该研究首先在完整的预训练语料库上预训练 DeepSeek-V2，然后再收集 150 万个对话，涵盖数学、代码、写作、推理、安全等各个领域，以便为 DeepSeek-V2 Chat 执行监督微调（SFT）。最后，该研究遵循 DeepSeekMath 采用群组相对策略优化 (GRPO) 进一步使模型与人类偏好保持一致。

DeepSeek-V2 基于高效且轻量级的框架 HAI-LLM 进行训练，采用 16-way zero-bubble pipeline 并行、8-way 专家并行和 ZeRO-1 数据并行。鉴于 DeepSeek-V2 的激活参数相对较少，并且重新计算部分算子以节省激活内存，无需张量并行即可训练，因此 DeepSeek-V2 减少了通信开销。

此外，为了进一步提高训练效率，该研究将计算和通信重叠，并为专家之间的通信、路由算法和线性融合计算定制了更快的 CUDA 内核。

实验结果

该研究在多种英文和中文基准上对 DeepSeek-V2 进行了评估，并将其与代表性的开源模型进行了比较。评估结果显示，即使只有 21B 个激活参数，DeepSeek-V2 仍然达到了开源模型中顶级的性能，成为最强的开源 MoE 语言模型。

值得注意的是，与基础版本相比，DeepSeek-V2 Chat (SFT) 在 GSM8K、MATH 和 HumanEval 评估方面表现出显著改进。此外，DeepSeek-V2 Chat (RL) 进一步提升了数学和代码基准测试的性能。