专栏名称: 黄建同学
数码博主 超话主持人(ChatGPT超话) 头条文章作者 我的学习笔记,关注AI+新能源
目录
相关文章推荐
央广网  ·  有人问DeepSeek,你和Manus谁更厉害?🤔 ·  昨天  
央广网  ·  有人问DeepSeek,你和Manus谁更厉害?🤔 ·  昨天  
爱可可-爱生活  ·  【[97星]EXO Private ... ·  2 天前  
爱可可-爱生活  ·  突破传统限制的十亿级语料库搜索利器 ... ·  3 天前  
爱可可-爱生活  ·  SoftMatcha ... ·  3 天前  
51好读  ›  专栏  ›  黄建同学

回复@程序员叶帆:确实不能算满血版,24GB VRAM跑的是R1-20250214222618

黄建同学  · 微博  · AI  · 2025-02-14 22:26

正文

2025-02-14 22:26

回复 @程序员叶帆 :确实不能算满血版,24GB VRAM跑的是R1-Q4_K_M,14GB那个是Q4_K_M的版本,而且是-Coder-R1。// @程序员叶帆 :回复 @黄建同学 :我看他们官网介绍的好像是Q4量化版的deepseek,所以不能说是完全的满血版? // @黄建同学 : KTransformers最大的亮点:通过异构计算划分策略,结合MoE架构的稀疏性特点,将模型参数分为稠密部分(GPU处理)和稀疏部分(CPU处理)。例如,仅需单卡24GB显存(如RTX 4090)即可运行671B参数的DeepSeek-R1满血版,显存需求降至传统方法的1/10。这个技术将GPU的需求降低到最大化,很适合我们
阿里云,火山引擎,腾讯云都已经支持DeepSeek R1 API 了,可以考虑注册一下接口,新用户赠送的额度也能用好久了!

阿里云:送100万tokens,bailian.console.aliyun.com






请到「今天看啥」查看全文