【CMU博士论文】优化的新视角： 应对数据中毒、解决欧几里得优化问题，以及学习最小最大最优估计器

来源：专知
本文约1000字，建议阅读5分钟




    
在本论文中，我们通过利用可以访问适当黑箱的优化过程，开发了具有广泛适用性的技术，涉及的领域包括鲁棒优化、欧几里得优化和学习最小最大估计器。

优化技术的鲁棒性特征是现代机器学习应用中的一个基本要求。在一个大量数据从互联网上抓取或从不同来源收集的环境中，数据清理已成为一个越来越难以解决的问题。复杂的对手可以轻松绕过简单的数据清理方法，毒化训练数据，从而影响训练过程。许多攻击可以构建一个后门，使得训练出的模型在部署时能够进行恶意的定向预测。一些高级攻击甚至宣称具有广泛的通用性，即对于一个模型产生的损坏可以成功地应用于另一个模型的攻击。这是一个所有复杂度模型在现实世界中都必须应对的问题。

为了解决这一问题，现有的研究集中于为特定模型类别提供专门的解决方案。这给从业者带来了巨大的负担，要求他们跟上研究的快速进展。此外，许多技术将优化问题与处理数据中毒问题分开处理。

在本论文的第一部分，我们采用统一的方法，提供一种可以用于训练任何机器学习模型的优化技术，并且这种方法在抵御数据中毒攻击方面表现出了令人印象深刻的韧性。我们在广泛的机器学习模型上进行了实验评估，并提供了收敛性的理论分析以及对我们技术如何实现数据中毒鲁棒性的数学理解。对于给定的优化问题，我们的技术构造了一系列低维优化问题。它假设可以访问一个能够解决这些低维问题的黑箱，而序列中最后一个问题的解就是所需的模型。

在论文的第二部分和第三部分，我们继续研究使用巧妙构造的黑箱求解器的算法。在第二部分，我们将解决欧几里得优化问题的问题表述为在流形（特别是Grassmann流形和多项式流形）上求解优化问题。这样，将一个给定维度的优化问题转化为一系列较低维度的问题。对于一类使用数据矩阵定义的优化问题，我们还开发了一种技术，通过减少数据矩阵的行维度来构建问题求解的序列。这些技术为欧几里得空间中的优化问题提供了一个非常新颖的视角，并具有激发未来优化过程发展，增强鲁棒性和隐私特性的潜力。

在论文的第三部分，我们研究了具有黑箱求解器的在线优化算法，这些算法用于最小化和最大化过程的求解。这些算法可用于找到两人零和博弈的纳什均衡。我们将寻找最小最大最优估计器的问题表述为寻找两人零和博弈的纳什均衡。这使我们能够绕过构造最小最大最优估计器的数学复杂性，通常这涉及大量的特定问题分析和新理论工具的开发，从而直接通过解决所述的两人博弈来学习最优估计器。通过这一技术，我们能够为一类基础的统计估计问题构造最小最大最优估计器，而这些问题在此之前尚未有已知的最优估计器。

总之，在本论文中，我们通过利用可以访问适当黑箱的优化过程，开发了具有广泛适用性的技术，涉及的领域包括鲁棒优化、欧几里得优化和学习最小最大估计器。