本文揭示了Adam优化算法收敛性问题的根本原因，并提出了一种新的-20241107054734

本文揭示了Adam优化算法收敛性问题的根本原因，并提出了一种新的自适应梯度方法ADOPT，该方法通过巧妙地去除当前梯度与二阶矩估计的相关性，在理论上保证了最优收敛速度，并在实践中展现出优越的性能和鲁棒性，尤其在高噪声环境下优势明显。