梦晨 发自 凹非寺
转载自：量子位（QbitAI）
ChatGPT惨遭攻击，参数规模终于被扒出来了——
很可能只有7B
（70亿）
。
消息来自南加州大学最新研究，他们使用一种攻击方法，
花费不到1000美元
就把最新版gpt-3.5-turbo模型的机密给挖了出来。
果然，OpenAI不Open，自有别人帮他们Open。
具体来说，南加大团队三位作者破解出了未公布的gpt-3.5-turbo
嵌入向量维度
（embedding size）
为4096或4608。
而几乎所有已知的开源大模型如Llama和Mistral，嵌入向量维度4096的时候都是约7B参数规模。
其它比例的话，就会造成网络过宽或过窄
，已被证明对模型性能不利。
因此南加大团队指出，可以推测gpt-3.5-turbo的参数规模也在7B左右，
除非是MoE架构
可能不同。
数月前，曾有微软CODEFUSION论文意外泄露当时GPT-3.5模型参数为
20B
，在后续论文版本中又删除了这一信息。
当时引起了一阵轩然大波，业界很多人分析并非不可能，先训练一个真正的千亿参数大模型，再通过种种手段压缩、蒸馏出小模型，并保留大模型的能力。
而现在的7B，不知道是从一开始20B的消息就不准确，还是后来又再次压缩了。
但无论是哪一种，都证明OpenAI有很恐怖的模型优化能力。
撬开ChatGPT的保护壳
那么，南加大团队是怎么扒出ChatGPT未公开配置的呢？
还要说到现代语言模型中普遍存在的“
Softmax瓶颈
”。
当Transformer网络处理完输入，会得到一个低维的特征向量，也就是Embedding。这个特征向量再经过Softmax变换，就得到了最后的概率分布输出。
问题就出在Softmax这里，因为矩阵的秩受限于特征向量的维度，所以大模型的输出空间事实上被限制在了一个低维的线性子空间里。
这就像是无论你的衣柜里有多少件衣服，最后能穿出去的搭配，其实是有限的。这个”衣柜”的大小，就取决于你的“特征向量维度”有多大。
南加大团队抓住了这一点，他们发现，只要从API调用中获取到足够多的输出样本，就足以拼凑出这个大模型的特征向量维度。
有了这个特征向量维度，可以
进一步推断大模型的参数规模
、
还原出完整的概率输出
