本文提出了一种名为“并行训练然后合并” (PTM) 的高效方法，-20241019051757

本文提出了一种名为“并行训练然后合并” (PTM) 的高效方法，用于向指令微调的语言模型添加新技能，该方法在保持原有模型能力的同时，显著提高了训练效率，尤其在提升模型安全性方面表现突出，并提出了一个无需验证集即可有效选择模型参数的启发式方法，但同时也揭示了多技能融合可能存在的干扰问题。