专栏名称: 新技术法学
究新技术法理,铸未来法基石
目录
相关文章推荐
程序员小灰  ·  DeepSeek做AI代写,彻底爆了! ·  3 天前  
史事挖掘机  ·  中国历史朝代时间表与歌谣 ·  昨天  
51好读  ›  专栏  ›  新技术法学

法律AI基础|(三)DeepSeek R1 Server端本地化部署全攻略

新技术法学  · 公众号  ·  · 2025-02-04 19:32

正文

AI&LAW

法律人的

DeepSeek使用指南

上一期,我们探讨了

如何在手机端将DeepSeek R1部署到本地。

但面对更高性能、更高并发支持的场景需求

我们还需要高性能、安全、可扩展的 AI 服务平台。

今天就为大家带来服务器上的部署指南:

DeepSeek R1的Server端本地化部署攻略!

(三)Server端本地化部署全攻略


01

Server端本地部署的优势

在PC端本地化部署的基础上,Server端部署进一步提升了DeepSeek R1的性能和适用范围,尤其适合企业级用户和高并发场景。

高性能与高并发

充分利用服务器的强大硬件资源,显著提升运行效率。轻松应对大规模数据处理与多用户同时访问。

企业级数据安全

运行环境和数据存储完全置于企业内部服务器中,无需依赖第三方云服务,根本杜绝数据泄露风险。

扩展与定制化

为扩展和定制提供了灵活性。可以根据需求调整服务器配置、优化模型参数、开发专属功能模块。

具备长期价值

能够有效降低运营成本,避免因云端服务使用量激增导致的成本飙升,有效提高长期运营成本效益。

02

环境准备与依赖安装

在正式部署DeepSeek R1 Server端之前,我们需要确保服务器环境满足运行要求,并安装必要的依赖项。以下是环境准备与依赖安装的详细步骤

硬件配置要求

DeepSeek R1的性能与硬件配置相关,建议根据实际需求选择合适的服务器配置:

CPU: 至少8核,推荐16核或以上(如Intel Xeon或AMD EPYC系列)。

内存: 至少32GB,推荐64GB或以上,以支持大规模数据处理和高并发访问。

GPU: 如果需要进行深度学习推理,建议配备高性能GPU(如NVIDIA A100、RTX 3090等),并安装CUDA和 cuDNN库以加速计算。

存储: 建议100GB可用磁盘空间。

本推文将以硬件配置为Intel Xeon Gold 6330处理器,256GB运行内存,40TB存储空间,NVIDIA A40 48GB显卡的服务器为例进行部署。(终端输入 nvidia-smi 检查显卡状态)


软件环境搭建

・操作系统

推荐使用 Linux系统 (如Ubuntu 20.04 LTS或 CentOS 7),以获得更好的性能和兼容性。本推文使用Ubantu 18.04.6 LTS操作系统。

・Python环境

DeepSeek R1依赖Python运行环境,建议安装 Python 3.8或以上版本 ;本推文使用Anaconda进行python版本控制,具体安装办法可见本团队比伯476的 https://blog.csdn.net/H66778899/article/details/140443322?spm=1001.2014.3001.5501 文章中“一、Python环境搭建”介绍。

安装完成后输入:

conda create -n Deepseek python=3.12

创建虚拟环境。

输入:

conda activate Deepseek 激活环境;

python -V 检查版本情况。

出现 Python 3.12.8 ,即显示python的版本号说明环境搭建成功。


GPU加速(可选)

如果选择使用GPU加速,需要安装 CUDA和 cuDNN ;具体安装办法可见本团队比伯476的 https://blog.csdn.net/H66778899/article/details/140443322?spm=1001.2014.3001.5501 文章中“二、安装CUDA”和“三、安装CUDNN”中的介绍。

输入:

nvcc --version 测试是否安装成功。


03

开始部署


使用Ollama部署模型

首先,在服务器上安装 Ollama。Ollama 支持多种操作系统。以下是Ubuntu 18.04.6 LTS系统的安装命令:

curl -fsSL https://ollama.com/install.sh | sh

安装完成之后,使用:

ollama --version

命令来查询版本,如果出现版本号则安装成功。

启动 Ollama 服务。依次输入:

sudo systemctl start ollama

这里需要输入用户密码。

sudo systemctl enable ollama

通过Ollama加载并部署DeepSeek R1模型,首先使用 df -h 命令确保有足够的存储空间,之后,使用:

export OLLAMA_MODELS=/【保存路径】

的方式修改到空间足够的位置。

输入:

ollama run deepseek-r1:70b

下载并运行70b的DeepSeek R1模型。该模型文件大约42G。

下载完成之后,将自动进行文件包的sha256哈希值校对,判断是否下载成功。

完成安装后,使用:

ollama list

如果看到deepseek-r1:70b模型的名称,说明安装成功。

使用WebUI运行模型







请到「今天看啥」查看全文