专栏名称: 宝玉xp
前微软Asp.Net最有价值专家 互联网科技博主 我是宝玉。
目录
相关文章推荐
爱可可-爱生活  ·  【[661星]Meridian:谷歌推出的营 ... ·  昨天  
新黄河  ·  三家美国巨头同日接入DeepSeek,业内人 ... ·  2 天前  
新黄河  ·  三家美国巨头同日接入DeepSeek,业内人 ... ·  2 天前  
浩歌行  ·  阿里的“深夜炸弹”:Qwen2.5-Max超 ... ·  5 天前  
浩歌行  ·  阿里的“深夜炸弹”:Qwen2.5-Max超 ... ·  5 天前  
爱可可-爱生活  ·  【[66星]PengChengStarlin ... ·  5 天前  
51好读  ›  专栏  ›  宝玉xp

转发微博-20250203132616

宝玉xp  · 微博  · AI  · 2025-02-03 13:26

正文

2025-02-03 13:26

转发微博
AMD都亲自下场写本地运行deepseek蒸馏模型了,英伟达争争气呀[doge] 点击查看中英双语文章🔗网页链接
听说这样配置7900 XTX 跑 DeepSeek-R1-Distill-Qwen-32B 比4090快。不过7900 XT只能跑 14B,而不是32B,而12GB显存的英伟达卡都能跑14B。比较尴尬

英伟达卡可以考虑用Ollama ,但要打开命令行
1️⃣下载Ollama 网页链接
2️⃣运行Ollama
3️⃣打开Windows终端,根据选择参数不同自行调整,比如14B就输入 ollama run deepseek-r1:14b-qwen-distill-q4_K_M ,其他有1.5b、32b、70b 。想看更多参数去这儿找 网页链接
4️⃣等待下载(国内网络即可),知道出现类似图一的文本
5️⃣找一个无聊问题问一下,比方说“你好,想一想自己是谁?”,可以类似图二的结果。如果你跑过其他模型,可能会注意到多出<think></think>这部分,这就是deepseek网页端“深度思考”内容
6️⃣命令行界面不好用,可以用聊天窗口对接Ollama,开源可以用open-webui ,闭源可以用 msty.app ,还有先开源后闭源的chatbox 。程序员的话,“AI”代码编辑器一般会有,连Zed都有

msty.app 好处是可以将同一问题发往并排“窗口”,窗口可以是不同模型,或不同系统提示词,或不同参数……非商用免费,安装包1.2G。#ai创造营#