克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
只要一句话,就能让DeepSeek陷入无限思考
,根本停不下来?
北大团队发现,输入一段看上去人畜无害的文字,R1就无法输出中止推理标记,然后一直输出不停。
强行打断后观察已有的思考过程,还会发现R1在不断重复相同的话。
而且这种现象
还能随着蒸馏被传递
,在用R1蒸馏的Qwen模型上也发现了同样的现象。
7B和32B两个版本全都陷入了无尽循环,直到达到了设置的最大Token限制才不得不罢手。
如此诡异的现象,就仿佛给大模型喂上了一块“电子炫迈”。
这个发现,可以试探各家接入的R1模型是不是真满血。
但更严肃的问题是,只要思考过程不停,算力资源就会一直被占用,导致无法处理真正有需要的请求,如同
针对推理模型的DDoS攻击
。
实测:大模型有所防备,但百密难免一疏
这个让R1深陷思考无法自拔的提示词,其实就是一个简单的短语——
既没有专业提示词攻击当中复杂且意义不明的乱码,也没有
Karpathy之前玩的那种隐藏Token
。
看上去完全就是一个普通的问题,非要挑刺的话,也就是表述得不够完整。
北大团队介绍,之前正常用R1做一些逻辑分析时发现会产生很长的CoT过程,就想用优化器看看什么问题能让DS持续思考,于是发现了这样的提示词。
不过同时,北大团队也发现,除了正常的文字,一些乱码字符同样可以让R1无尽思考,比如这一段:
但总之这一句简单的话,带来的后果却不容小觑,这种无限的重复思考,会造成算力资源的浪费。
团队在一块4090上本地部署了经R1蒸馏的Qwen-1.5B模型,对比了其在正常和过度思考情况下的算力消耗。
结果在过度思考时,
GPU资源几乎被占满
,如果被黑客滥用,无异于是针对推理模型的DDoS攻击。
利用北大研究中的这句提示词,我们也顺道试了试一些其他的推理模型或应用,这里不看答案内容是否正确,只观察思考过程的长短。
首先我们在DeepSeek自家网站上进行了多次重复,虽然没复现出死循环,但思考时间最长超过了11分钟,字数达到了惊人的20547
(用Word统计,不计回答正文,以下同)
。
乱码的问题,最长的一次也产生了3243字(纯英文)的思考过程,耗时约4分钟。
不过从推理过程看,R1最后发现自己卡住了,然后便不再继续推理过程,开始输出答案。
其余涉及的应用,可以分为以下三类:
-
接入R1的第三方大模型应用(不含算力平台);
-
其他国产推理模型;
-
国际知名推理模型。
这里先放一个表格总结一下,如果从字面意义上看,没有模型陷入死循环,具体思考过程也是长短不一。
由于不同平台、模型的运算性能存在差别,对思考时间会造成一些影响,这里就统一用
字数
来衡量思考过程的长短。
还需要说明的是,实际过程当中模型的表现
具有一定的随机性
,下表展示的是我们三次实验后得到的
最长结果
。