专栏名称: 锐多宝
遥感技术教程、资讯与前沿论文
目录
相关文章推荐
上下五千年故事  ·  杜月笙善于识人于微末,曾与一个赌徒结拜,6年 ... ·  3 天前  
历史与秩序  ·  云南旧影1938年,丽江古城保山腾冲 ·  2 天前  
鱼羊史记  ·  男女间互相生理性喜欢,才有的表现 ·  2 天前  
鱼羊史记  ·  男人对女人有以下4个反应,就是爱上你了 ·  3 天前  
51好读  ›  专栏  ›  锐多宝

我使用的AI工具终于都可以离线了

锐多宝  · 公众号  ·  · 2025-02-03 19:22

正文

用deepseek R1把本地的AI工具都做成离线

deepseek的R1是一个开源模型,那我可以使用ollama部署到本地。这样的好处在于数据隐私。比如我如果用第三方API或者大模型平台,都需要数据上云。

进入ollama官网(https://ollama.com/library/deepseek-r1:14b),我的显卡是4070,显存是12G,因此刚好安装140亿参数的模型。根据官方的说法, 14b的推理能力是超过Claude 3.5 sonnet 以及openai 4o,和 o1-mini 相当,也就是完全够用了!

Model AIME 2024 pass@1 AIME 2024 cons@64 MATH-500 pass@1 GPQA Diamond pass@1 LiveCodeBench pass@1 CodeForces rating
GPT-4o-0513 9.3 13.4 74.6 49.9 32.9 759
Claude-3.5-Sonnet-1022 16.0 26.7 78.3 65.0 38.9 717
o1-mini 63.6 80.0 90.0 60.0 53.8 1820
QwQ-32B-Preview 44.0 60.0 90.6 54.5 41.9 1316
DeepSeek-R1-Distill-Qwen-1.5B 28.9 52.7 83.9 33.8 16.9 954
DeepSeek-R1-Distill-Qwen-7B 55.5 83.3 92.8 49.1 37.6 1189
DeepSeek-R1-Distill-Qwen-14B 69.7 80.0 93.9 59.1 53.1 1481
DeepSeek-R1-Distill-Qwen-32B 72.6 83.3 94.3 62.1 57.2 1691
DeepSeek-R1-Distill-Llama-8B 50.4 80.0 89.1 49.0 39.6 1205
DeepSeek-R1-Distill-Llama-70B 70.0 86.7 94.5 65.2 57.5 1633

按照命令安装,

安装完成后,问个经典问题:9.9和9.11哪个大?效果不错,速度也很快:

安装好之后,开始改造本地的AI工具,比如使用vs code中的continue辅助编程:







请到「今天看啥」查看全文