专栏名称: 巴比特资讯
区块链/数字货币/比特币中文资讯,创立于2011年,200多位专栏作入驻平台,国内最大区块链资讯原创基地(公众号【原创】认证),我们为以下合作伙伴供稿:火币、OKCoin、BTC.com、BTCC、币看、BTC123、比特时代、挖币网
目录
相关文章推荐
巴比特资讯  ·  你还在付费求DeepSeek部署教程?来来来 ... ·  10 小时前  
巴比特资讯  ·  千亿美元收购,马斯克是给OpenAI送财还是送灾? ·  10 小时前  
巴比特资讯  ·  两极反转,外国人开始在X上卖中国AI的课了? ·  昨天  
巴比特资讯  ·  为什么中国只有一个 DeepSeek? ·  2 天前  
51好读  ›  专栏  ›  巴比特资讯

你还在付费求DeepSeek部署教程?来来来,免费教你本地部署DeepSeek-R1

巴比特资讯  · 公众号  · 比特币  · 2025-02-12 17:42

正文

TTPRO1378597-2.png

图片来源:由无界AI生成


当看到这条消息时,机器之心编辑部陷入了集体沉默。作为一个免费开源的模型,DeepSeek 竟能让倒卖商如此大赚特赚,也着实让人震惊。而这也从侧面佐证了 DeepSeek 模型引发的本地部署热潮是多么汹涌。


图源:微博 @扬子晚报


打开淘宝和拼多多,搜索 DeepSeek,我们能看到电子货架上摆满了琳琅满目的本可免费获得的资源,其中既有安装包,也有提示词包与教程,甚至就连清华大学刚刚发布的《DeepSeek 从入门到精通》也被许多卖家明码标价出售 —— 但实际上你只需要随便找个搜索引擎搜索一下,你就能找到大量可免费下载该教程的链接。



价钱如何呢?根据我们的粗略观察,一般打包出售「安装包 + 教程 + 提示词」的价格通常在 10-30 元之间,商家一般还会提供一定的客服服务。其中不少都已经卖出了上百份,更有少数几个已经达成了上千人付款的成就。离谱的是,一个定价 100 元的软件和教程包也有 22 人付款。



真是不得不让人感叹,信息差的钱是真好赚。


转自网络


今天这篇文章我们将教你如何在本地部署 DeepSeek,并且完全不用花一分钱。但首先,我们先简单了解下为什么要本地部署。


为什么要本地部署 DeepSeek-R1?


DeepSeek-R1,虽然可能已不是当前最强大的推理模型,但绝对依然还是当前最热门的推理模型。也因此,如果使用官网或其它托管商的服务,我们常常会遭遇如下窘境:



而本地部署模型可以有效杜绝这种情况。简单来说,本地部署就是在你自己的本地设备上安装 AI 模型,而不依赖云端 API 或在线服务。常见的本地部署方式有如下几种:


  • 轻量级本地推理 :在个人电脑或移动端运行(如 Llama.cpp、Whisper、GGUF 格式模型)。


  • 服务器 / 工作站部署 :使用高性能 GPU 或 TPU(如英伟达 RTX 4090、A100)运行大模型。


  • 私有云 / 内网服务器 :在企业内部服务器上部署(如使用 TensorRT、ONNX Runtime、vLLM)。


  • 边缘设备 :在嵌入式设备或 IoT 设备上运行 AI(如 Jetson Nano、树莓派)。


而本地部署也存在自己的应用场景,比如:


  • 企业内部 AI (如私有聊天机器人、文档分析);


  • 科研计算 (如生物医药、物理仿真);


  • 离线 AI 功能 (如语音识别、OCR、图像处理);


  • 安全审计 & 监控 (如法律、金融合规分析)。


本文将主要关注轻量级本地推理,这也是适用于我们大多数个人用户的部署方式。


本地部署的好处


除了从根本上解决「服务器繁忙」问题,本地部署还有其它诸多好处,包括:


1、 数据隐私与安全性 :在本地部署 AI 模型时,就无需将自己的关键数据上传到云端,从而可以有效防止数据泄露,这对金融、医疗、法律等行业而言尤为关键。另外,本地部署也能有效符合企业或地区的数据合规要求(如中国的《数据安全法》、欧盟的 GDPR 等)。


2、 低延迟 & 高实时性能 :由于本地部署时所有计算都发生在本地,无需网络请求,因此推理速度完全取决于用户自己的设备计算性能。但也因此,只要本地设备性能足够,用户就能享受到非常好的实时性能,也因此本地部署非常适合实时性非常关键的应用(如语音识别、自动驾驶、工业检测)。


3、 更低的长期成本 :本地部署自然就无需 API 订阅费用,可实现一次部署长期使用。同时,如果用户对模型性能要求不高,还能通过部署轻量化模型(如 INT 8 或 4-bit 量化)来控制硬件成本。


4、 可以离线使用 :无需网络也能用上 AI 模型,适用于边缘计算、离线办公、远程环境等。并且,由于断网也能运行 AI 应用,因此可以保证用户的关键业务不中断。


5、 可定制 & 可控性强 :可以微调、优化模型,更适配业务需求,举个例子,DeepSeek-R1 就被微调和蒸馏成了许多不同的版本,包括无限制版本 deepseek-r1-abliterated 等等。另外,本地部署不受第三方政策变更影响,可控性强,可避免 API 调价或访问限制。


本地部署的缺点


本地部署好处多多,但我们也不能忽视其缺点,首当其冲的便是大模型的算力需求。


1、 硬件成本高 :个人用户的本地设备通常难以运行高参数量的模型,而参数量较低的模型的性能通常又更差,因此这方面有一个需要考虑的权衡。如果用户想要运行高性能模型,那就必须在硬件上投入更多成本。


2、 难以处理大规模任务 :当用户的任务需要大规模处理数据时,往往需要服务器规模的硬件才能有效完成。


3、 有一定的部署门槛 :不同于使用云服务 —— 只需打开网页端或配置 API 即可使用,本地部署存在一定的技术门槛。如果用户还有进一步的本地微调需求,部署难度还会更大。不过幸运的是,这个门槛正越来越低。


4、 需要一定的维护成本 :用户需要投入心力和时间解决因为模型和工具升级带来的环境配置问题。


究竟是进行本地部署还是使用在线模型,还需要用户根据自己的实际情况定夺。下面简单总结了适合与不适合本地部署的场景:


  • 适合本地部署:高隐私、低延迟、长期使用(如企业 AI 助手、法律分析)。


  • 不适合本地部署:短期试验、高算力需求、依赖大模型(如 70B+ 参数级别)。


如何本地部署 DeepSeek-R1?


本地部署 DeepSeek-R1 的方法其实有很多,这里我们简单介绍两种:一是基于 Ollama 实现本地部署,二是使用 LM Studio 的零代码部署方法。


基于 Ollama 部署 DeepSeek-R1


下面我们将基于 Ollama 介绍如何在你自己的设备上部署你自己的 DeepSeek-R1。


Ollama 是目前最常使用的本地部署和运行语言模型的框架,其非常轻量,而且具有很好的可扩展性。从名字也能看出来,Ollama 是 Meta 发布 Llama 系列模型之后诞生的。但这个项目是社区驱动的,与 Meta 以及 Llama 系列模型的开发没有直接关系。



Ollama 项目诞生之后发展非常迅速,不管是支持的模型量还是支持其的各种生态系统都在迅速发展。


Ollama 支持的部分模型和生态


使用 Ollama 的第一步非常简单,下载并安装 Ollama,访问以下地址,下载适合你操作系统的版本即可。


下载地址:https://ollama.com/download


有了 Ollama,还需要为你的设备配置 AI 模型。这里以 DeepSeek-R1 为例进行演示。首先进入 Ollama 官网查看支持的模型及相应的版本:https://ollama.com/search 这里我们可以看到 DeepSeek-R1 现有 1.5B 到 671B 共 7 个不同规模的共 29 个不同版本,其中包括一些基于开源模型 Llama 和 Qwen 进行微调、蒸馏或量化处理后得到的模型。



具体该选择哪个版本,我们先得了解自己的硬件配置情况。dev.to 开发者社区 Avnish 写了一篇文章,简单总结了 DeepSeek-R1 不同规模版本的硬件需求,可作参考:


图源:https://dev.to/askyt/deepseek-r1-architecture-training-local-deployment-and-hardware-requirements-3mf8


这里我们以 8B 版本为例进行演示:打开你设备上的终端工具,运行


ollama run deepseek-r1:8b


接下来就是等待模型下载完成。(Ollama 现在也支持直接从 Hugging Face 拉取模型,命令是 ollama run hf.co/{用户名}/{库}:{量化版本},比如 ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0。)



模型下载完成后,你就可以直接在这个终端中与下载好的 8B 版 DeepSeek-R1 聊天了。



但是,对普通用户来说,这种对话方式非常不直观,也不方便。因此我们还需要配置一个好用的前端。而前端的选择可就多了。我们即可以使用能在浏览器中提供类似 ChatGPT 体验的 Open WebUI,也可以选择 Chatbox 等前端工具,你也可以在这里寻找你想要的前端:https://github.com/ollama/ollama


1. 如果你想使用 Open WebUI,只需在你的终端以此运行以下两行代码即可:


安装 Open WebUI:


pip install open-webui


运行 Open WebUI:


open-webui serve


接下来,只需访问 http://localhost:8080,就能在你的浏览器中获得类似 ChatGPT 的体验。


从 Open WebUI 的模型列表中可以看到,本机上的 Ollama 已经配置了多个模型,包括 DeepSeek-R1 7B 和 8B 版本以及 Llama 3.1 8B、Llama 3.2 3B、Phi 4、Qwen 2.5 Coder 等其它一些模型。选择其中的 DeepSeek-R1 8B 试试看效果:



2. 如果你更偏好在一个单独的应用软件中使用 DeepSeek-R1,可以考虑 Chatbox 等工具。配置方法也很简单,首先下载安装:https://chatboxai.app/zh


安装后启动该应用程序,进入「设置」,在「模型提供方」中选择 OLLAMA API,接着在下面的模型栏选择你想使用的模型,并设置上下文的消息数量上限以及 Temperature 等相关参数即可(当然也可不必调整)。



接下来,你可以在 Chatbox 中与你部署的本地 DeepSeek-R1 畅聊了。不过遗憾的是,DeepSeek-R1 7B 没能正确地完成我们描述的任务。这也佐证了前文的观点,即个人用户通常只能在自己的本地设备上运行性能相对较差的模型。不过可以预见,未来随着硬件的进一步发展,个人本地使用大参数量模型的门槛还会进一步降低 —— 而且这个未来恐怕也不会太远。



当然,不管是 Open WebUI 还是 Chatbox,也都支持通过 API 接入 DeepSeek 的各个模型以及 ChatGPT、Claude 以及 Gemini 等专有模型。你完全可以将它们作为使用 AI 的日常前端。


另外,我们也可以将 Ollama 中配置的模型引入到我们的其它工具中,比如 Obsidian 和思源笔记等笔记应用。感兴趣的读者可以参看这篇略有过时的文章(Obsdian 上已有更好用的 AI 插件):《最强笔记软件 Obsidian 中也能使用 LLM,让它成为你的智慧第二大脑》。


使用 LM Studion 零代码部署 DeepSeek-R1


虽然不多,但在配置 Ollama 和相关模型时还是会用到终端和一点代码。如果你依然觉得麻烦 / 困难,还可以使用 LM Studio 实现零代码部署 DeepSeek-R1。


同样,首先去官网下载符合你操作系统的程序:https://lmstudio.ai


安装完成后启动,在 My Models 选项中先为你的模型设置一个文件夹:



接下来,只需去 Hugging Face 下载你想使用的语言模型,并按照一定的目录结构将其放入到上面设置的文件夹中即可(我们也可以使用 LM Studio 自带的搜索功能,但我们实测的效果并不好)。注意,这里我们需要的是 .gguf 格式的模型文件,比如 Unsloth 提供的版本:https://huggingface.co/collections/unsloth/deepseek-r1-all-versions-678e1c48f5d2fce87892ace5


考虑到我们的实际硬件,我们这里使用基于 Qwen 模型微调得到的 DeepSeek-R1 蒸馏版(14B 参数量)并选择 4-bit 量化后的版本:DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf


下载完成后,按照一定的目录结构将其放入我们之前设定的文件夹中:模型文件夹 /unsloth/DeepSeek-R1-Distill-Qwen-14B-GGUF/DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf


接下来,只需打开 LM Studio,在应用上方位置选择要加载的模型,然后你就可以与你的本地模型对话了。



使用 LM Studio 的最大优势就是完全无需操作终端,也不涉及任何代码 —— 只需会安装软件和配置文件夹即可。可说是对用户超级友好了。


结语


当然,以上教程只是在最基础的层面上实现了 DeepSeek-R1 的本地部署。如果你想将这个热门模型进一步整合进自己的本地工作流程中,还需要进一步的配置 —— 从基础的设置系统提示词到更高阶的模型微调定制、整合 RAG、搜索功能、多模态能力、工具调用能力等等。


同时,随着专门针对 AI 开发的硬件以及小模型相关技术的发展,相信未来本地部署大模型的门槛还会进一步降低。


看完此文,你会自己动手试试部署自己的 DeepSeek-R1 吗?






中国AIGC产业应用峰会回顾

2024 年 1 月 5 日,【智求共赢・中国 AIGC 产业应用峰会暨无界 AI 生态合作伙伴大会】在杭州未来科技城会议中心举行。







请到「今天看啥」查看全文