用deepseek R1把本地的AI工具都做成离线
deepseek的R1是一个开源模型,那我可以使用ollama部署到本地。这样的好处在于数据隐私。比如我如果用第三方API或者大模型平台,都需要数据上云。
进入ollama官网(https://ollama.com/library/deepseek-r1:14b),我的显卡是4070,显存是12G,因此刚好安装140亿参数的模型。根据官方的说法,
14b的推理能力是超过Claude 3.5 sonnet
以及openai 4o,和
o1-mini
相当,也就是完全够用了!
Model
|
AIME 2024 pass@1
|
AIME 2024 cons@64
|
MATH-500 pass@1
|
GPQA Diamond pass@1
|
LiveCodeBench pass@1
|
CodeForces rating
|
GPT-4o-0513
|
9.3
|
13.4
|
74.6
|
49.9
|
32.9
|
759
|
Claude-3.5-Sonnet-1022
|
16.0
|
26.7
|
78.3
|
65.0
|
38.9
|
717
|
o1-mini
|
63.6
|
80.0
|
90.0
|
60.0
|
53.8
|
1820
|
QwQ-32B-Preview
|
44.0
|
60.0
|
90.6
|
54.5
|
41.9
|
1316
|
DeepSeek-R1-Distill-Qwen-1.5B
|
28.9
|
52.7
|
83.9
|
33.8
|
16.9
|
954
|
DeepSeek-R1-Distill-Qwen-7B
|
55.5
|
83.3
|
92.8
|
49.1
|
37.6
|
1189
|
DeepSeek-R1-Distill-Qwen-14B
|
69.7
|
80.0
|
93.9
|
59.1
|
53.1
|
1481
|
DeepSeek-R1-Distill-Qwen-32B
|
72.6
|
83.3
|
94.3
|
62.1
|
57.2
|
1691
|
DeepSeek-R1-Distill-Llama-8B
|
50.4
|
80.0
|
89.1
|
49.0
|
39.6
|
1205
|
DeepSeek-R1-Distill-Llama-70B
|
70.0
|
86.7
|
94.5
|
65.2
|
57.5
|
1633
|
按照命令安装,
安装完成后,问个经典问题:9.9和9.11哪个大?效果不错,速度也很快:
安装好之后,开始改造本地的AI工具,比如使用vs code中的continue辅助编程: