DeepSeek学习笔记（1）——做到了什么

杭州深度求索人工智能基础技术研究有限公司（DeepSeek）成立于2023年，为通用人工智能（AGI）研发商，专注于大语言模型（LLM）开发。DeepSeek股东为宁波程恩公司与梁文峰，宁波程恩公司也由梁文峰绝对控股（>50%）。梁文峰于2015、2016年分别成立了浙江九章公司与宁波程采公司并绝对控股；浙江九章公司控股宁波幻方公司；宁波程采公司与宁波幻方公司于2018年共同成立了宁波幻方量化投资管理合伙企业（幻方量化）。幻方量化是一家依靠数学与人工智能进行量化投资的对冲基金公司，是国内首家突破千亿规模的的量化私募基金，年复合收益率曾超过100%，近几年有较大回落并计划退出对冲领域。

通过网页端或APP可实现与DeepSeek-V3免费对话，并可实时切换到深度思考模式DeepSeek-R1，解决推理问题。DeepSeek大模型支持文本、代码、数学推理等任务，还支持图像、音频、视频等多模态输入和输出。DeepSeek提供了二次开发API接口，与OpenAI兼容，可以使用OpenAI SDK访问DeepSeek API，或使用与OpenAI API兼容的软件。

遵循MIT License，DeepSeek开源了DeepSeek-R1-Zero、DeepSeek-R1两个模型，实现了完全开源、不限制商用、无需申请，允许用户通过蒸馏技术训练其他模型。DeepSeek-R1在数学、代码、自然语言推理等任务上性能比肩OpenAI o1 正式版，如下图所示：

DeepSeek AI团队在康奈尔大学arXiv上发表了3篇重要论文，据此可以了解和学习DeepSeek的主要学术思想。

1、《DeepSeek LLM：以长期主义扩展开源语言模型》 ^[1]

该文于2024年1月发布，摘要如下：

开源大语言模型（LLMs）的快速发展确实令人瞩目。然而，先前文献中描述的扩展规律得出了不同的结论，这为扩展LLMs蒙上了一层阴影。我们深入研究了扩展规律，并提出了独特的发现，这些发现促进了在两种广泛使用的开源配置（7B和67B）中扩展大规模模型。在扩展规律的指导下，我们推出了DeepSeek LLM项目，这是一个致力于从长远角度推进开源语言模型的项目。为了支持预训练阶段，我们开发了一个目前包含2万亿token且不断扩展的数据集。我们进一步对DeepSeek LLM基础模型进行了监督微调（SFT）和直接偏好优化（DPO），从而创建了DeepSeek Chat模型。我们的评估结果表明，DeepSeek LLM 67B在一系列基准测试中超越了LLaMA-2 70B，尤其是在代码、数学和推理领域。此外，开放式评估显示，我们的DeepSeek LLM 67B Chat在性能上优于GPT-3.5。

2、《DeepSeek-V3：技术报告》 ^[2]

该文于2024年12月发布，摘要如下：

我们推出了DeepSeek-V3，这是一个强大的混合专家（Mixture-of-Experts, MoE）大语言模型，总参数量为6710亿，每个token激活的参数量为370亿。为了实现高效的推理和成本效益的训练，DeepSeek-V3采用了多头潜在注意力机制（Multi-head Latent Attention，MLA）和DeepSeeMoE架构，这些架构在DeepSeek-V2中得到了充分验证。此外，DeepSeek-V3首次采用了无辅助损失的负载均衡策略，并设定了多token预测训练目标以提升性能。我们在14.8万亿个多样化且高质量的token上对DeepSeek-V3进行了预训练，随后通过监督微调和强化学习阶段充分释放其潜力。综合评估表明，DeepSeek-V3超越了其他开源模型，并达到了与领先闭源模型相当的性能。尽管其性能卓越，DeepSeek-V3的完整训练仅需278.8万H800 GPU小时。此外，其训练过程非常稳定，在整个训练过程中，我们没有遇到任何不可恢复的损失峰值或进行任何回滚操作。

模型检查点可在以下链接获取： https://github.com/deepseek-ai/DeepSeek-V3。

3、《DeepSeek-R1：通过强化学习提升大型语言模型的推理能力》 ^[3]

本期文章对DeepSeek公司、产品、大模型高性价比及其学术论文进行了学习，可以看出：

1、DeepSeek的产生是长期积累的结果，其诞生过程包含着深刻的历史发展、社会环境和个人努力因素；

2、DeepSeek的成长基于巨人的肩膀，又继续增高了巨人肩膀的高度；

3、DeepSeek带来的不仅仅是高性价比AGI功能，对其进行多方面了解也能让我们受益。