不需要7个mac mini了。。。-20250129223108

开源就是好，老外动手能力强的，已经开始魔改deepseek R1了。

Unsloth的量化技术果然独步天下。

一般来说，模型量化到4位就可以了，再往下，效果就会很差了。
但是Unsloth把deepseek r1量化到2位还不够，一直量化到1.58位，只有131G了。

这个版本，你电脑内存大一些就能跑了。

他们惊讶地发现，在1.58 位，模型似乎仍然产生有效的输出！
他们用这个版本生成一个愤怒的小鸟的游戏，依然是正确的。

但是这个里面是有技巧的，不能把所有层都量化。

他们的经验是：
如果你天真地将所有图层量化到 1.58 位，你将在种子 3407 中得到无限重复：“深色颜色与深色颜色 深色与深色颜色”或种子 3408：“使用 Pygame 的 Pygame 的 Pygame 的 Pygame 的 Py。

如果将所有图层量化为 1.75 位 （149GB），则无限重复将停止，但结果完全不正确。所有输出都会生成全黑屏幕。
如果你将所有图层量化到 2.06 位 （175GB），结果甚至比 1.58 位 （131GB） 的动态量化还要差。

上面这些问题，他们都基本解决了。

那还不如使用性能优越的 2.22 位 （183GB） 版本。

最好的版本是，2.51 位212GB的版本。

这有什么好处？
就是个人和小企业，有个强一点的电脑都能跑起来了。

地址：huggingface.co/unsloth/DeepSeek-R1-GGUF