转发微博
AMD都亲自下场写本地运行deepseek蒸馏模型了,英伟达争争气呀 点击查看中英双语文章🔗网页链接
听说这样配置7900 XTX 跑 DeepSeek-R1-Distill-Qwen-32B 比4090快。不过7900 XT只能跑 14B,而不是32B,而12GB显存的英伟达卡都能跑14B。比较尴尬
英伟达卡可以考虑用Ollama ,但要打开命令行
1️⃣下载Ollama 网页链接
2️⃣运行Ollama
3️⃣打开Windows终端,根据选择参数不同自行调整,比如14B就输入 ollama run deepseek-r1:14b-qwen-distill-q4_K_M ,其他有1.5b、32b、70b 。想看更多参数去这儿找 网页链接
4️⃣等待下载(国内网络即可),知道出现类似图一的文本
5️⃣找一个无聊问题问一下,比方说“你好,想一想自己是谁?”,可以类似图二的结果。如果你跑过其他模型,可能会注意到多出<think></think>这部分,这就是deepseek网页端“深度思考”内容
6️⃣命令行界面不好用,可以用聊天窗口对接Ollama,开源可以用open-webui ,闭源可以用 msty.app ,还有先开源后闭源的chatbox 。程序员的话,“AI”代码编辑器一般会有,连Zed都有
msty.app 好处是可以将同一问题发往并排“窗口”,窗口可以是不同模型,或不同系统提示词,或不同参数……非商用免费,安装包1.2G。#ai创造营#
听说这样配置7900 XTX 跑 DeepSeek-R1-Distill-Qwen-32B 比4090快。不过7900 XT只能跑 14B,而不是32B,而12GB显存的英伟达卡都能跑14B。比较尴尬
英伟达卡可以考虑用Ollama ,但要打开命令行
1️⃣下载Ollama 网页链接
2️⃣运行Ollama
3️⃣打开Windows终端,根据选择参数不同自行调整,比如14B就输入 ollama run deepseek-r1:14b-qwen-distill-q4_K_M ,其他有1.5b、32b、70b 。想看更多参数去这儿找 网页链接
4️⃣等待下载(国内网络即可),知道出现类似图一的文本
5️⃣找一个无聊问题问一下,比方说“你好,想一想自己是谁?”,可以类似图二的结果。如果你跑过其他模型,可能会注意到多出<think></think>这部分,这就是deepseek网页端“深度思考”内容
6️⃣命令行界面不好用,可以用聊天窗口对接Ollama,开源可以用open-webui ,闭源可以用 msty.app ,还有先开源后闭源的chatbox 。程序员的话,“AI”代码编辑器一般会有,连Zed都有
msty.app 好处是可以将同一问题发往并排“窗口”,窗口可以是不同模型,或不同系统提示词,或不同参数……非商用免费,安装包1.2G。#ai创造营#