DeepSeek R1模型本地化部署+个人知识库搭建与使用

前言

对于想要在本地或自托管环境中运行 LLM 的用户而言，Ollama 提供了一个无需 GPU、在 CPU 环境也可高效完成推理的轻量化 “本地推理” 方案。而要让 Ollama 真正 “接地气”，往往需要与其他开源项目进行配合——例如将文档、数据源或应用前端与 Ollama 打通，这便衍生出许多解决方案。

Ollama 简介

在进入对比之前，先简单回顾一下 Ollama 的定位和特性：

本地推理：

• CPU 即可运行：适合 Mac 或 Linux 环境。

• 若无 GPU 的情况下，也能让开源模型（如 LLaMA、GPT-Neo、Mistral 等）跑起来。

轻量易用：

• 安装方式简洁，一键下载二进制文件或通过 Homebrew、pkg 安装。

• 只需一个命令行工具就能加载模型并进行对话、推理。

量化优化：

• 支持对常见大语言模型做 4-bit 或 8-bit 等量化，进一步降低资源占用。

发展活跃：

• 在 GitHub 上有不错的社区支持和更新节奏，适合初中级开发者快速上手。

安装 Ollama 客户端

配置环境变量

Ollma可以像其他软件一样在电脑上完成一键安装，不同的是，建议按照实际需求配置下系统环境变量参数。
默认的模型保存路径在C盘，我们把路径更改到有更多可用空间的分区或目录，可以更好地管理存储空间。

• 添加 OLLAMA_MODELS 环境变量改变模型存储的位置。例如 E:\ollama\models

• 设置完成后重启 ollama 或 PowerShell，即可完成更改。

用 Ollama 下载模型

首先我们需要安装 Ollama（https://ollama.com/），它可以在本地运行和管理大模型。

直接下载速度太慢，使用加速，GitHub Proxy 代理加速（https://ghfast.top/）【实测速度超快】：
https://mirror.ghproxy.com/https://github.com/ollama/ollama/releases/download/v0.5.7/OllamaSetup.exe

接下来点击 Ollama 官网左上方的 “Models” 按钮，会列出支持的各种模型，目前最火的 DeepSeek-R1 排在显眼位置，点击进入主题页面：

点击进去后，查看各个模型，不同模型执行的命令不同，最后部分看你选择的参数模型。

7b命令：ollama run deepseek-r1:7b
1.5b命令：ollama run deepseek-r1:1.5b

DeepSeek R1 提供多个版本，参数量越大，模型通常越强大，但也需要更多的计算资源，比如 1.5B 代表有 15 亿个参数。具体选择哪一个看你硬件设备了。

将本机的电脑配置发给 deepseek，看看它的推荐是哪个模型

选择好模型之后，点击右侧这个按钮，复制指令，这里是：ollama run deepseek-r1:1.5b

在 Windows 搜索栏输入 “cmd” 回车，唤出命令行窗口：

黏贴运行刚才复制的命令，开始下载，1.5b 模型容量大约 1.1GB，请保持网络畅通：

当界面出现 success 显示安装成功。输入 “你是谁”，看到 deepseek 的回答。

AnythingLLM、Dify、Open-WebUI 简介

AnythingLLM

• 定位：将本地文档或数据源整合进一个可检索、可对话的知识库，让 AI 助手 “懂你” 的资料。

主要功能：

• 文档管理：将 PDF、Markdown、Word 等多格式文件索引进系统。

• 智能检索：可基于向量数据库搜索相关文档片段，并在聊天时自动引用。

• 界面 +API：既提供用户友好的前端管理界面，也能通过 API 与其他系统集成。

对接 Ollama 思路：

• 在配置文件或启动脚本中，将 “语言模型推理” 后端地址指定为 Ollama 的本地服务。

• 当用户发起提问时，AnythingLLM 会先做知识检索，再将检索到的上下文发送给 Ollama 做语言生成。

适用场景：

• 企业内部文档问答、个人知识管理、高度依赖文本内容的问答场景。

Dify

• 定位：多功能的 AI 应用构建平台，支持多种大语言模型，方便开发者快速搭建 ChatGPT-like 服务或插件化应用。

主要功能：

• 对话管理：可自定义对话流或应用场景，为不同场景配置不同模型或工作流。

• 插件扩展：支持将其他第三方服务或插件加入对话流程中，提高可用性。

• 多模型兼容：除 Ollama 外，也兼容 OpenAI API、ChatGLM 等其他模型。

对接 Ollama 思路：

• 在 “模型管理” 或 “模型配置” 界面/文件中，添加对 Ollama 的引用，可能需要指定本地运行地址 (如 localhost:port)。

• 使用 Dify 的对话页面或 API 时，后台调用 Ollama 进行推理，再将结果返回前端。

适用场景：

• 多模型切换、多功能插件集成；需要可视化对话配置或工作流管理的团队与开发者。

Open-WebUI

• 定位：社区驱动的网页版用户界面，针对多种本地模型提供可视化使用入口，类似一个 “本地 ChatGPT 面板”。

主要功能：

• 浏览器聊天界面：在局域网或本机通过网页即可与模型交互。

• 支持多后端：LLaMA、GPT-NeoX 等，以及 CPU/GPU 等不同推理环境。

• 插件/扩展机制：在社区里可找到各式各样的扩展功能（如多语言 UI、模型切换、对话模板等）。

对接 Ollama 思路：

• 通常可在 Open-WebUI 的后台配置或启动脚本中，指定 Ollama 作为推理后端；

• 或使用适配 Ollama 协议的插件，让 Open-WebUI 调用 Ollama 进行对话。

适用场景：

• 需要 “纯聊天 + 模型管理” 界面的普通用户或开发者；想要单纯体验各种本地模型的人群。

接入 Ollama 的异同

在了解了三款工具的基本定位后，再来看看它们在接入 Ollama 时，有哪些不同之处，以及各自的优势与局限性。