专栏名称: Datawhale

一个专注于AI领域的开源组织，汇聚了众多顶尖院校和知名企业的优秀学习者，聚集了一群有开源精神和探索精神的团队成员。愿景-for the learner，和学习者一起成长。

刚刚！DeepSeek开源FlashMLA，推理加速核心技术

Datawhale · 公众号 · · 2025-02-24 12:32

正文

Datawhale分享

开源周：Day 01，编辑：机器 之心

上周五，DeepSeek 发推说本周将是开源周（OpenSourceWeek），并将连续开源五个软件库。

第一个项目，果然与推理加速有关。

北京时间周一上午 9 点，刚一上班（同时是硅谷即将下班的时候），DeepSeek 兑现了自己的诺言，开源了一款用于 Hopper GPU 的高效型 MLA 解码核：FlashMLA。

该项目上线才 45 分钟就已经收获了超过 400 star！并且在我们截图时，Star 数量正在疯狂飙升。

项目地址：https://github.com/deepseek-ai/FlashMLA

众所周知，MLA是 DeepSeek大模型的重要技术创新点，主要就是减少推理过程的KV Cache，从而实现在更少的设备上推理更长的Context，极大地降低推理成本。

此次 DeepSeek 直接开源了该核心技术的改进版本，可以说是诚意满满。

接下来，就让我看下这个开源项目的核心内容。

据介绍，FlashMLA 是适用于 Hopper GPU 的高效 MLA 解码内核，针对可变长度序列服务进行了优化。

目前已发布的内容有：

其速度非常快，在 H800 SXM5 GPU 上具有 3000 GB/s 的内存速度上限以及 580 TFLOPS 的计算上限。

在部署这个项目之前，你需要的有：

推荐文章

解放军报 · 分享｜老常的试飞传奇：他的云淡风轻，我的心惊肉跳

8 年前

集微网 · 一文看懂3D Xpoint！它估将在未来引爆内存市场革命；东芝存储可能推迟第二次招标；若收购东芝存储赴美建厂?夏普:有此计划；

7 年前

妙法佛音 · 【法师开示】越想心里越舒服

7 年前

环保人 · 《上海市固定污染源自动监测建设、联网、运维和管理有关规定》7月15日起实施

7 年前

参考消息 · 声音 | 法国前总理给欧洲指了条明路——转向中国

7 年前