P-tuning：一个预训练模型的连续提示调优法

计算机视觉深度学习和自动驾驶 · 公众号 · · 2024-05-26 00:02

正文

21年3月发表的论文“GPT Understands, Too“，提出P-tuning这个调优方法，来自清华，北京智源、MIT和Recurrent AI（清华和CMU的AI学者成立的公司）。

给定一个预训练的语言模型 M，一系列离散输入token X= {x0, x1, ..., xn} 将被映射到输入嵌入 {e(x0), e(x1),...。.., e(xn)} 。在特定场景中，在上下文X的条件下，经常使用一组目标token y 的输出嵌入进行下游处理。例如，在预训练中，X指的是未屏蔽的token，y指的是屏蔽[MASK]的token；在句子分类中，X指的是句子token，而y通常指的是[CLS]。

提示 p 的功能，是将上下文X、目标 y 及其本身，组织成模板 T。如图所示，在预测一个国家首都的任务中（LAMA-TREx P36），模板可能是“英国的首都是 [MASK]。” ，其中“……的首都是……”是提示符，“英国”是上下文，“[MASK]”是目标。提示可以非常灵活，甚至可以将它们插入上下文或目标中。令 V 记作语言模型 M 的词汇表，[Pi] 记做模板 T 中的第 i 个提示token。给定模板 T，与传统的离散提示相比，P-tuning 将 [Pi] 视为伪token，并将模板映射到可训练的嵌入张量。这样就能够找到更好的连续提示，超出M的原始词汇V所能表达的范围。最后，利用下游损失函数L，可以可微分地优化连续提示hi。

在图中，给定上下文（蓝色区域，“英国”）和目标（红色区域，“[MASK]”），橙色区域指的是提示token。图(a)中，提示生成器仅接收离散奖励；相反，在图（b）中，伪提示和提示编码器以可微分的方式进行优化。有时，添加一些与任务相关的锚tokens（例如图（b）中的“首都”）会带来进一步的改进。