春节期间最火爆的新闻是DeepSeek,没有之一,这则消息足以震动全球。它是一款国产的开源大模型,APP登顶苹果中国区和美国区应用商店免费下载排行榜。其实早在去年12月份就发布了v3模型,但当时并不火,直到今年1月份发布了对标OpenAI-o1的推理模型r1,
短短几天时间火爆全球。由于免费开源,且训练成本大幅下降的情况下达到差不多的效果,这在
AI行业
引发的广泛的关注和讨论,市场对以英伟达为首的「大力出奇迹」的训练方式产生了质疑,
认为通过对模型的优化可以减少对高端芯片的需求,英伟达股价也因此暴跌。
一夜之间,
微软、英伟达、亚马逊等全部接入
DeepSeek模型。前两天,华为联合
硅基流动首发了基于华为云昇腾云服务的DeepSeek-V3、DeepSeek-R1。
硅基流动(SiliconCloud)是硅基流动公司推出的大模型云服务平台,目标是通过优化大模型,帮助用户实现Token自由,这是个收费产品,但是可以在线体验。
春节期间很多人已经体验了
DeepSeek,手机端直接在应用商店下载使用,或者直接在网页体验:
https://www.deepseek.com
。但是也有一些深度用户,想在电脑端部署,离线使用。今天介绍一下如何在电脑上部署,为了方便操作可以首先安装一个名为“Ollama”的软件,它是一个开源框架,专门为本地电脑上部署和运行大模型而生的。
1.在
Ollama
的官网包含
Ollama程序下载以及
DeepSeek模型下载。官网地址:
https://ollama.com
2.首先以管理员身份运行Ollama程序进行安装,然后使用命令进行部署
DeepSeek模型。
DeepSeek模型
有多个版本:1.5b、7b、8b、14b、32b、70b 671b,版本越高对GPU要求越高。每一个版本都对应一个安装命令,复制下来。然后以管理员身份运行CMD命令,输入上述命令。例如:
ollama run deepseek-r1:1.5b
,则自动在线部署安装。
(备注:卸载则把命令中的run改成rm,如果想了解更多命令,则直接输入
ollama查看)
部署完成后,我们可以使用