任务算术：模型合并的一种方法

22年12月华盛顿大学、微软和A2I的论文“Editing Models with Task Arithmetic”。

改变预训练模型的行为方式——例如，提高其在下游任务中的性能或减轻预训练期间学到的偏差——是开发机器学习系统时的常见做法。该文控制神经网络的行为，以任务向量为中心。任务向量指定预训练模型权重空间的方向，以便沿该方向的运动可以提高任务的性能。在对任务进行微调后，从同一模型的权重中减去预训练模型的权重来构建任务向量。这些任务向量可以通过算术运算（例如求反和加法）进行修改和组合在一起，并且相应地控制所得模型的行为。否定任务向量会降低目标任务的性能，而控制任务的模型行为几乎没有变化。此外，将任务向量添加在一起可以同时提高多个任务的性能。最后，当任务通过“A 到 B 就像 C 到 D”形式的类比关系链接时，组合来自三个任务的任务向量可以提高第四个任务的性能，即使第四个任务没有数据。任务算术是一种简单、高效且有效的模型合并方法。

否定任务向量，是降低其在目标（target）任务上性能的有效方法，而不会显着损害其他地方的性能。遗忘或“忘记”可以帮助减轻预训练时学到的不良偏差；为了遵守法规或出于道德原因（例如阻止图像分类器识别面部或通过 OCR“读取”个人信息），完全忘记任务可能是需要的。

这些干预措施不应该对模型在编辑范围之外处理数据的行为产生重大影响[69; 39]。因此，除了评估任务向量源自的目标任务之外，还测量控制任务的准确性。实验证明了否定任务向量用于编辑图像分类和文本生成模型的有效性。

关于添加任务向量，要么构建同时精通多个任务的多任务模型，要么提高单任务性能。此操作能够重用和迁移来自内部模型或大量公开的微调模型的知识，无需额外的训练或访问训练数据。