DeepSeek团队发布了一篇关于原生稀疏注意力（NSA）机制的纯技术论文报告。该机制旨在提高长文本训练与推理的效率，针对现代硬件进行优化设计，可加速推理过程并降低预训练成本，同时不牺牲性能。DeepSeek团队认为，NSA为处理长上下文任务提供了一种高效的解决方案，有助于推动更强大、更经济的语言模型的发展，尤其是在需要处理长文本的应用场景中。
NSA针对现代硬件进行了优化设计，可加速推理过程，降低预训练成本，同时保持或提升模型性能。它在通用基准测试、长文本任务和基于指令的推理中表现优秀。
论文详细阐述了NSA的理论基础、设计思路、实验验证以及对业界的影响和意义。DeepSeek团队表示，NSA为处理长上下文任务提供了一种高效的解决方案，有助于推动更强大、更经济的语言模型的发展。
NSA的应用场景包括深度推理、仓库级代码生成、多轮自主代理系统等，尤其在处理长文本的应用场景中表现突出。Gemini 1.5 Pro等模型可通过NSA进一步降低训练与推理成本。
DeepSeek提到，NSA能够降低算力门槛与部署成本，端到端稀疏训练可以减少预训练所需的计算资源，降低企业开发大模型的资金与技术门槛。同时，NSA机制改变了游戏规则，对于扩大教育领域AI至关重要。
2025.02.
18
本文字数：2393，阅读时长大约4分钟
导读
：DeepSeek team is cooking!
2月18日，DeepSeek官方在海外社交平台X上发布了一篇纯技术论文报告，论文主要内容是关于NSA（Natively Sparse Attention，原生稀疏注意力），官方介绍这是一种用于超快速长文本训练与推理的、硬件对齐且可原生训练的稀疏注意力机制。
具体来说，NSA针对现代硬件进行了优化设计，能够加速推理过程，同时降低预训练成本，且不牺牲性能。它在通用基准测试、长文本任务和基于指令的推理中均能达到或超越全注意力模型的表现。稀疏注意力为提高效率同时保持模型能力提供了一个有前景的方向。
记者注意到，在这篇名为《原生稀疏注意力：硬件对齐且可原生训练的稀疏注意力机制》（Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention）的论文署名中，DeepSeek创始人梁文锋也作为共创在列。
在论文中，DeepSeek团队表示，业界越来越认识到长上下文建模对于下一代大型语言模型的重要性，推动这一需求的应用包括深度推理、仓库级代码生成和多轮自主代理系统。然而，随着序列长度的增加，标准注意力机制的高复杂度成为了关键的延迟瓶颈。
论文提到，理论估计表明，在使用softmax架构（一种用于多分类问题的神经网络架构）时，注意力计算占解码64k长度上下文总延迟的70%-80%，这凸显了对更高效注意力机制的迫切需求。
记者将这一论文提供给DeepSeek，并让其评价对业界的影响与意义，DeepSeek称，这一技术的核心价值在于平衡效率与性能，既降低计算成本，又保持甚至提升模型能力。对行业而言，NSA为处理长上下文任务提供了一种高效的解决方案，有助于推动更强大、更经济的语言模型的发展，尤其是在需要处理长文本的应用场景中。
NSA通过高效的长序列处理能力，使模型能够直接处理整本书籍、代码仓库或多轮对话（如千轮客服场景），扩展了大语言模型在文档分析、代码生成、复杂推理等领域的应用边界。例如，Gemini 1.5 Pro已展示长上下文潜力，NSA可进一步降低此类模型的训练与推理成本。
此外，DeepSeek提到，NSA能够降低算力门槛与部署成本。端到端稀疏训练可以减少预训练所需的计算资源（如减少A100 GPU小时数），降低企业开发大模型的资金与技术门槛。同时，可以加速推理，使长文本生成（如代码补全、故事续写）的实时性更高，适用于边缘设备或低延迟场景。
一位X用户在DeepSeek帖子下表示，“NSA 机制改变了游戏规则。超快速长上下文训练对于扩大教育领域 AI 至关重要，这与个性化学习愿景完美契合。”还有网友对此调侃“RIP Nvidia”。
自1月20日发布DeepSeek-R1并搅动AI圈以来，DeepSeek方面一直较为低调，这是这么多天以来DeepSeek唯一发布的技术动态。
“DeepSeek team is cooking! ”（DeepSeek 团队正在积极工作！）有X网友表示。
