DeepSeek 最近发布的两个模型 —— DeepSeek-V3 和 DeepSeek-R1 以很低的成本获得了比肩 OpenAI 同类模型的性能。

根据外媒的报道，他们在短短两个月时间，在 2,048 个 H800 GPU 集群上，训出 6710 亿参数的 MoE 语言模型，比顶尖AI效率高出 10 倍。

这项突破不是用 CUDA 实现的，而是通过大量细粒度优化以及使用英伟达的类汇编级别的 PTX（并行线程执行）编程。

DeepSeek 在硬件受限的条件下被逼走出了一条不同于 OpenAI 等狂堆算力的道路，用一系列技术创新来减少模型对算力的需求，同时获得性能提升。

网友的一些热评：

「在这个世界上，如果有哪群人会疯狂到说出『CUDA 太慢了！干脆直接写 PTX 吧！』这种话，绝对就是那些 前量化交易员 了。」

天才极客微调PTX，让GPU性能极致发挥

英伟达 PTX（并行线程执行）是专门为其 GPU 设计的中间指令集架构，位于高级 GPU 编程语言（如 CUDA C/C++ 或其他语言前端）和低级机器代码（流处理汇编或 SASS）之间。

PTX 是一种接近底层的指令集架构，将 GPU 呈现为数据并行计算设备，因此能够实现寄存器分配、线程/线程束级别调整等细粒度优化，这些是 CUDA C/C++ 等语言无法实现的。

当 PTX 转换为 SASS 后，就会针对特定代的英伟达 GPU 进行优化。

在训练 V3 模型时，DeepSeek 对英伟达 H800 GPU 进行了重新配置：

为了最大化性能，DeepSeek 还通过额外的细粒度线程/线程束级别调整，实现了先进的流水线算法。

这些优化远超常规 CUDA 开发水平，但维护难度极高。然而，这种级别的优化恰恰充分展现 DeepSeek 团队的卓越技术实力。

这是因为，在全球 GPU 短缺和美国限制的双重压力下，DeepSeek 等公司不得不寻求创新解决方案。

所幸的是，他们在这方面取得了重大突破。

有开发者认为，「底层 GPU 编程才是正确的方向。优化得越多，就越能降低成本，或在不增加额外支出的情况下，提高可用于其他方面进步的性能预算」。