OpenAI新作署名Ilya，提取1600万个特征看透GPT-4大脑！

---

新智元报道

编辑：乔杨 好困

【新智元导读】 今天，OpenAI发布了一篇GPT-4可解释性的论文，似乎是作为前两天员工联名信的回应。网友细看论文才发现，这居然是已经解散的「超级对齐」团队的「最后之作」。

前两天，OpenAI的一群员工刚刚联名发表公开信，表示自主的AI系统正在失控，呼吁公众提高警惕。

今天OpenAI就甩出了一篇论文来回应。

这篇文章通过逆向工程，为GPT-4做了一次「解剖」，旨在探索LLM的可解释性。

更让人唏嘘的是，这项新研究由最近刚刚分崩离析的「超级对齐」团队完成，文章还有Ilya Sutskever和Jan Leike的署名。

论文地址：https://cdn.openai.com/papers/sparse-autoencoders.pdf

文章是发表了，但团队却早已解散。

物是人非，似乎也从另一个侧面说明了，OpenAI在AGI安全方面进行的重大转向。

论文提出，模型的可解释性与AI安全息息相关。

目前我们仍不了解语言模型的内部运作原理，而且它无法被轻易分解为可识别的部分。这意味着无法像推理汽车安全那样推理人工智能安全。

为了理解和解释神经网络，首先需要找到神经计算的构建模块。

然而，语言模型内神经元的激活模式是密集且不可预测的，每次输入都会触发一次激活，而且同时包含了许多概念（concepts）。

不同的是，现实世界的概念非常稀疏——给定上下文，所有概念中只有一小部分是相关的。

这种密集和稀疏的区别启发了「稀疏自动编码器」（SAE, sparse autoencoders）的概念。对于给定输出，可以识别并提取神经网络中产生这些输出的重要「特征」（features），类似于人特定情境下进行推理时想到的概念。

SAE提取的特征显示出稀疏的激活模式，即使不施加直接的可解释性激励，也能自然地与人类容易理解的概念保持一致。

LLM的参数中隐式包含了大量的概念，相应地，自动编码器也需要非常大的规模，才能涵盖前沿模型中的所有概念。

由于极端稀疏性，SAE很难扩展为大规模训练，之前的工作主要集中在用小型语言模型训练较小的SAE。

这篇论文的主要贡献在于提供了可靠且可扩展性的训练方法，能够用TopK自动编码器提取LLM中的数千万个特征。

而且，这种可扩展性是平滑且可预测的，与之前的工作相比有更好的「规模回报」。

训练代码已在GitHub上发布，可以运行在任何语言模型的激活层上。

开源地址：https://github.com/openai/sparse_autoencoder

论文尝试用这种方法分别在GPT-2和GPT-4上训练SAE，并制作了一个可视化工具来检视提取特征的可解释性。

SAE可视化界面：https://openaipublic.blob.core.windows.net/sparse-autoencoder/sae-viewer/index.html

GPT-4训练的SAE包含1600万个潜在变量，在400亿个token上进行训练。

其中有一些较为明显的可解释特征被提取了出来，比如有关人类缺陷、多语言的身份证明文件和涨价、自然灾害等话题。

训练方法

论文在多种LLM上都尝试了训练TopK自动编码器，包括GPT-2 small、GPT-4以及一系列有GPT-4类似架构的不同大小的模型。

TopK，或者k-稀疏方法是只保留k个最大的隐变量，将其余变量置零。TopK编码器定义如下：

所有实验中都使用64 tokens长度的上下文，选取网络末尾的包含较多特征的一层（但不涉及next token预测任务）的残差流进行训练。

GPT-2 small中使用了第8层，也就是整体架构的3/4部分；对于GPT-4类架构，这个比例则是5/6。

训练后，分别使用L0和均方差（MSE）两个指标分别评估稀疏性和重建误差，并与基线模型ReLU自动编码器进行对比。

在规定隐变量数量为32768时，相比ReLU和ProLU，TopK方法在稀疏性和重建性能上实现了更好的平衡，与门控机制相近。

在固定稀疏性时，随着隐变量数目的增加，TopK方法的MSE下降速度也是所有方法中最高的。

变量数量逐渐增长时，也会有越来越多的隐变量在训练过程中的某个时刻完全停止激活，成为「死亡隐变量」。

消融实验中发现，如果不采取任何缓解措施，死亡隐变量的占比可以高达90%，这会导致MSE大幅恶化，且浪费训练算力。

为了防止隐变量「死亡」，论文提出了2个训练技巧——

- 将编码器初始化为解码器的转置

- 添加辅助损失AuxK，即使用k个「死亡隐变量」计算的重构误差（论文戏称为「幽灵梯度」）

使用这两个方法后，即使是在GPT-4上训练出的有1600万个隐变量的SAE中，也仅有7%的「死亡隐变量」。

可扩展性

由于论文的主要目的就是提升SAE的可扩展性，因此作者通过改变各种超参数设置，着重探讨了模型这方面的表现。

首先，使用与训练LLM相似的策略，不考虑收敛，在可用计算资源的条件下训练不同规模的SAE，直至达到MSE最优。

下面左图中可以看到，MSE的下降趋势基本符合计算量的幂律分布L(C)，尽管其中最小的模型有些偏离。

右图则表示，选取不同的k值时，随着隐变量数量N的增大，MSE的下降趋势基本类似，遵循N和k的联合scaling法则。这体现出模型较好的优化性能和可靠性。

随着k值增加，MSE的下降曲线逐渐陡峭，意味着不可约损失的减少。

但L(N,k)的这种趋势仅在k值较小时成立，若k值过大、接近模型维数，SAE的重建就失去意义了。

下面这张图展示的结果也比较符合直觉——随着语言模型逐渐增大，SAE也需要更多的隐变量才能实现相同的MSE。

评估结果

虽然使用L0和MSE两个指标已经可以很好地评估稀疏性和重建表现，但这并不是模型的最终目标。

我们需要评估SAE提取出特征的质量和可解释性，因此论文提出了以下几种指标：

1. 下游损失：如果将原语言模型残差流中的隐变量替换为自动编码器重建的变量，语言模型的损失表现如何

2. 探测损失：SAE能否恢复我们预期的特征

3. 可解释性：对于SAE提取的隐变量在LM中的激活，是否存在充要的简单解释

4. 消融稀疏性：消除单个隐变量对LM下游得到的logits是否有稀疏影响？

通过这些指标的评估，论文得出的总体结论是，隐变量总数增加会使得SAE表现更好，然而激活的隐变量数量L0产生的影响会比较负责。

下游损失

论文考虑使用KL散度和交叉熵损失衡量语言模型的下游表现，TopK方法在稀疏性和交叉熵两方面可以取得更好的均衡。

对比其他方法，在达到相同的MSE值时，TopK方法带来的交叉熵最低，意味着下游表现最好。

探测损失

为评估探测损失，团队训练了61个1维的logistic探测器，用于检测相应特征是否存在并计算最佳交叉熵（在所有隐变量中）作为探测损失。

结果显示，k值越高，探测损失越低，且TopK模型的性能在各个k值上的表现都优于ReLU。

可解释性

可解释性的量化比较困难。为此，论文借鉴了2023年一篇论文提出的可解释性自动评分方法，打出的分数与召回率相关但不成比例。

由于在这种方法中使用GPT-4计算准确率和召回率过于昂贵，因此评估时作者找了另一种更便宜的模型N2G。

下面这个例子可以更直观地展现N2G的打分机制。

相比ReLU，TopK模型的F1分数更高，召回率总体有1.5×的提升，但准确率稍逊一筹，约为ReLU方法的0.9×。

消融稀疏性

为了评估消融稀疏性，团队独创了一个指标(L1/L2)^2计算向量的稀疏度，来表征每删除一个隐变量时，有多少token受到了稀疏影响。

图6b可以看到，对于有不同隐变量数量的模型，随着L0逐渐提升（模型逐渐稀疏），消融稀疏性也逐渐提升（受到影响的token数量更少）。

理解TopK激活函数

TopK防止激活收缩

L1正则化的一个主要缺点是，它会使所有激活值趋向于零。

而论文提出的TopK激活函数解决了这个问题，因为它不需要L1。

团队使用投影梯度下降法来求解带有正约束的最优激活值。这种优化过程在ReLU模型中通常会增加激活值，但在TopK模型中不会（见图9a），这表明TopK不受激活收缩的影响。TopK模型的优化幅度也比ReLU模型小。

在ReLU和TopK模型中，优化过程显著改善了重建的MSE（见图9b）和下游的下一个token预测的交叉熵（见图9c）。

然而，这种优化只部分缩小了ReLU和TopK模型之间的差距。