本文利用重尾自正则化理论诊断小数据训练中模型各层训练质量的不平衡-20241018053704

本文利用重尾自正则化理论诊断小数据训练中模型各层训练质量的不平衡问题，并提出 TempBalance 算法通过分层学习率调度有效提高 NLP 和 SciML 任务的模型性能，尤其在极低数据量场景下效果显著，该方法也可用作现有优化器的补充。