本文提出了 Transformer²，一个基于奇异值微调（SVF-20250115063734

本文提出了 Transformer²，一个基于奇异值微调（SVF）和强化学习训练的专家向量的自适应 LLM 框架，通过动态选择和组合专家向量实现模型在推理时对未知任务的实时自适应，其核心思想是通过 SVF 更高效的利用了 LLM 预训练的知识，并通过强化学习直接对任务进行优化，使得模型能够针对不同任务动态调整。这种方法比传统的微调更高效，更具通用性。