专栏名称: 茶瓜子的休闲馆
人生苦短,早点下班。
目录
相关文章推荐
爱可可-爱生活  ·  【[812星]SkyReels-V1:开源的 ... ·  昨天  
人工智能那点事  ·  热搜第一!70名AI公务员上岗!部分工作效率 ... ·  昨天  
AI范儿  ·  马斯克发布Grok3:多项测试超越DeepS ... ·  2 天前  
AI范儿  ·  马斯克发布Grok3:多项测试超越DeepS ... ·  2 天前  
机器之心  ·  接力DeepSeek,阶跃星辰直接开源两款国 ... ·  2 天前  
张栋伟  ·  别扯了,价格才是一切 ·  3 天前  
张栋伟  ·  别扯了,价格才是一切 ·  3 天前  
51好读  ›  专栏  ›  茶瓜子的休闲馆

5步搞定私有模型部署,AI小帮手解锁本地模型,聊聊看法

茶瓜子的休闲馆  · 公众号  · AI 互联网短视频  · 2025-02-19 08:34

主要观点总结

文章介绍了最新版本的ollama模型,包括修复的问题、新增的功能以及如何快速在电脑上部署deepseek蒸馏版模型。文章还探讨了本地部署模型的技术定位和使用场景。

关键观点总结

关键观点1: 版本更新和修复的问题

文章指出最新版本修复了一些已知问题,如Connection error和无法引用包含特殊符号的区域。

关键观点2: 新增功能

文章提到新版本加入了ollama本地模型的支持。

关键观点3: 快速部署deepseek蒸馏版模型的步骤

文章详细描述了如何在电脑上快速部署deepseek蒸馏版模型,包括下载安装包、安装、运行模型等步骤。

关键观点4: 本地部署模型的技术定位和使用场景

文章探讨了本地部署模型的技术定位,主要是作为技术验证平台和数据安全方案,并指出了模型能力、成本、数据安全是当前需要考虑和权衡的问题。


正文

点击上方蓝色字关注我们!



在最新发布的版本中,迅速修复了一些已发现的问题,包括在特定情况下可能出现的Connection error,以及无法引用包含特殊符号的区域等。

新版本还加入了ollama本地模型的支持

使用方法上也很简单,依旧是填写3个参数

ApiKey:ollama ←固定值ModelName:ollama的模型名 ←你run什么模型就填什么ApiUrl:http://127.0.0.1:11434/v1/  ←没有自己改过的话也是固定值别名:自己取一个


下面带着大家一起快速在自己的电脑上部署一个deepseek蒸馏版模型


1.打开ollama官网下载对应系统的安装包

https://ollama.com/download

2.打开下载好的安装包,一路狂点下一步,等待安装成功。

3.安装成功后,我们右键开始菜单,选择终端管理员


4.在弹出的终端里,我们输入 ollama run deepseek-r1:7b ,等待模型下载并运行

5.出现下面界面表示模型已成功启动,你可以快乐的在本地使用deepseek蒸馏版了

p.s.此处演示选择了7b蒸馏版,大家可能需要根据自己的电脑配置选择适合参数大小的模型,不然可能会存在半天说几个字的情况。


6.在小帮手里配置本地ollama模型,下面配置中ApiUrl和ApiKey一般都为固定值,我们只需要修改自己实际的模型名称即可。

最后谈谈我对本地部署模型的一些看法。

首先我们要清楚的是除了671b的deepseek原版外,其他所有规格模型都是deepseek蒸馏版模型,上方演示的是7b,相差100倍。

蒸馏简单的来说就是,deepseek作为老师去指导学生模型,如何近似教师模型的预测结果。







请到「今天看啥」查看全文