Big Model Weekly | 第25期

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

稀疏自动编码器通过从稀疏瓶颈层重建激活值，提供了一种有希望的无监督方法，用于从语言模型中提取可解释的特征。由于语言模型学习了许多概念，自动编码器需要非常大，才能恢复所有相关特征。然而，研究自动编码器扩展特性的难点在于需要平衡重建和稀疏性目标以及存在死节点的问题。作者提出使用k-稀疏自动编码器来直接控制稀疏性，从而简化调优并改善重建-稀疏性前沿。此外，本文提出了一些改进，使即使在作者所尝试的最大规模下，也只有少数死节点。使用这些技术，研究者发现了关于自动编码器规模和稀疏性的清晰缩放规律。文章还引入了几种新的特征质量评估指标，这些指标基于假设特征的恢复、激活模式的可解释性以及下游效果的稀疏性。这些指标通常随着自动编码器规模的增加而改善。为了展示所提方法的可扩展性，作者在GPT-4的激活值上训练了一个拥有1600万潜变量的自动编码器，处理了400亿个标记。

文章链接：

https://cdn.openai.com/papers/sparse-autoencoders.pdf

大型语言模型（LLMs）常常生成不准确或虚构的信息，并且通常无法表明其信心，这限制了它们的广泛应用。先前的研究通过直接或自一致性提示，或构建特定数据集进行监督微调，从LLMs中引出信心。然而，基于提示的方法表现较差，而基于训练的方法仅限于二元或不准确的组级信心估计。这项工作提出了先进的SaySelf训练框架，旨在教导LLMs表达更准确的细粒度信心估计。此外，除了信心分数之外，SaySelf还开始引导LLMs生成自我反思的推理，明确识别其参数知识中的差距并解释其不确定性。这是通过使用LLM自动总结特定知识中的不确定性并通过自然语言表达来实现的。该总结基于对多条采样推理链中不一致性的分析，所得数据用于监督微调。此外，作者利用强化学习，结合精心设计的奖励函数来校准信心估计，激励LLMs提供准确的高信心预测，并对错误输出中的过度自信进行惩罚。在分布内和分布外的数据集上的实验结果表明，SaySelf在降低信心校准误差和保持任务性能方面效果显著。本文展示了生成的自我反思推理是合理的，并且可以进一步促进校准。

文章链接：

https://arxiv.org/pdf/2405.20974

对基础模型进行对齐是其安全和可信赖部署的关键。然而，传统的微调方法计算成本高，且需要更新数十亿个模型参数。一种有前景的替代方法是通过解码对齐，它直接调整响应分布而无需模型更新，从而最大化目标奖励，提供了一种轻量且适应性强的对齐框架。然而，理论上的解码方法依赖于获得一个最优函数（）的预言机访问，这在实际中通常无法获得。因此，先前的最先进方法要么使用从参考SFT（监督微调）模型推导出的来近似这个，要么依赖于短期奖励，导致次优的解码性能。本工作提出了Transfer ，它通过与基线奖励对齐的基线模型来隐式估计目标奖励的最优价值函数。作者对Transfer进行了理论分析，提供了其最优性的严格表征，推导出了次优性差距的上限，并确定了一个超参数用于控制与预训练参考SFT模型的偏差，基于用户需求进行调整。该方法显著减少了在之前最先进方法中观察到的次优性差距，并在多个合成和实际数据集上的广泛测试中，在一致性、多样性和质量等关键指标上表现出优越的实证性能。

文章链接：

https://arxiv.org/pdf/2405.20495

链式推理（Chain-of-Thought, CoT）已被证明可以在经验上和理论近似能力方面改进大型语言模型（LLMs）。然而，现在对CoT能力的内在工作机制及其出现条件的理解仍然有限。本文通过在一个受控且可解释的环境中展示CoT推理在Transformer模型中的出现方式，帮助填补这一空白。特别地，作者观察到一种专门用于迭代推理的注意力机制的出现，称之为“迭代头”（iteration heads）。本文追踪了这些迭代头的出现及其在注意力层面的精确工作方式，并衡量了它们在不同任务间赋予的CoT技能的可转移性。

文章链接：

https://arxiv.org/pdf/2406.02128

矩阵乘法（MatMul）通常主导了大型语言模型（LLMs）的整体计算成本。随着LLMs的嵌入维度和上下文长度的增加，这一成本也随之增长。这项工作展示了如何在保持良好性能的前提下，完全消除LLMs中的MatMul操作。实验表明，在参数量达到数十亿规模时，所提出的无MatMul模型在性能上可以与需要更多内存进行推理的最先进的Transformer模型相媲美。本文还研究了缩放规律，发现随着模型规模的增加，无MatMul模型与全精度Transformer模型之间的性能差距逐渐缩小。文章还提供了该模型的GPU高效实现，使训练过程中的内存使用相比未经优化的基线减少了多达61%。通过在推理过程中使用优化的内核，模型在内存消耗方面相比未经优化的模型减少了超过10倍。为了准确量化所提架构的效率，作者在FPGA上构建了一个定制硬件解决方案，利用了轻量级操作，超越了GPU的能力。在13W的功耗下处理了十亿参数规模的模型，实现了超出人类可读吞吐量的性能，将LLMs更进一步向大脑般的效率迈进。这项工作不仅展示了在保持有效性能的情况下LLMs可以简化到何种程度，还指出了未来加速器在处理下一代轻量化LLMs时应该优化的操作类型。

文章链接：

https://arxiv.org/pdf/2406.02528

本文研究了一个多智能体模仿学习（MAIL）问题，从学习者的角度出发，尝试根据专家的演示来协调一组代理。大多数现有的MAIL研究基本上将问题简化为在演示的支持范围内匹配专家的行为。虽然在假设代理是非策略性的情况下，这种方法足以使学习者与专家之间的价值差距归零，但它不能保证对策略性代理的偏离具有鲁棒性。直观地，这种方法无法处理策略性偏离，因为这些偏离可能依赖于反事实数量：协调者在其建议所引发的状态分布之外的推荐。对此，作者开始研究在马尔可夫博弈中的一种新的MAIL目标，称其为遗憾差距（regret gap），该目标明确考虑了代理组中可能的偏离。本文首先深入探讨了价值差距与遗憾差距之间的关系。首先，文章表明，虽然通过单代理模仿学习算法的直接扩展可以有效地最小化价值差距，但即使实现了价值等价，也可能导致任意大的遗憾差距。这意味着在MAIL中实现遗憾等价比实现价值等价更难。接着，文章提出了一对高效的简化方法，用于最小化遗憾差距：(a)在专家的覆盖假设下（MALICE），或(b)通过访问可查询的专家（BLADES）。