ICLR'25 如何提升异常检测鲁棒性？COBRA：伪异常生成助力异常检测再上新台阶！

0.这篇文章干了啥？

这篇文章提出了一种新的异常检测方法COBRA，旨在提升异常检测（AD）方法在对抗性攻击下的鲁棒性。通过引入一种创新的损失函数，结合对比学习的思想，COBRA能够在清洁数据和对抗性攻击环境下都保持优异的检测性能。文章通过一系列广泛的实验验证了COBRA的有效性，包括与多种现有方法的对比，证明其在多个数据集和强攻击下的鲁棒性显著优于其他方法。实验结果表明，COBRA不仅能有效提高检测精度，还能在面对强大的对抗攻击时保持稳定的性能，成为未来异常检测研究的新基准。

下面一起来阅读一下这项工作~

1. 论文信息

论文题目：MITIGATING SPURIOUS NEGATIVE PAIRS FOR ROBUST INDUSTRIAL ANOMALY DETECTION

作者：Hossein Mirzaei, Mojtaba Nafez等

作者机构：École Polytechnique Fédérale de Lausanne (EPFL), Switzerland等

论文链接：https://arxiv.org/pdf/2501.15434

2. 摘要

尽管异常检测（AD）在近年来取得了显著进展，但现有检测方法在应对对抗性攻击方面的鲁棒性仍然是一个挑战，这影响了它们在关键的现实应用中的可靠性，如自动驾驶。这个问题主要源于异常检测设置，假设训练数据仅限于一组未标记的正常样本，这使得检测器在测试过程中易受到对抗性异常样本的攻击。此外，作为防护措施实施对抗性训练也面临困难，例如在没有标签的情况下制定有效的目标函数。理想的异常检测对抗性训练目标函数应当在正常样本和异常样本之间以及内部产生强大的扰动，以最大化正常样本与异常样本分布之间的边界。为了解决这些问题，我们首先提出从正常样本中衍生出伪异常组。然后，我们证明了通过对比损失进行的对抗性训练可以作为理想的目标函数，因为它能够产生组内和组间的扰动。然而，我们发现虚假负对的存在会影响传统的对比损失，无法实现强健的异常检测。虚假负对指的是那些应当紧密匹配但被错误地分开了的对。此类对引入噪声并误导组间对抗扰动的方向。为克服虚假负对的影响，我们定义了对立对，并通过对抗性拉开它们，从而加强组间扰动。实验结果表明，在干净和对抗性情境下，我们的性能优于现有方法，在多个具有挑战性的基准数据集上，鲁棒检测性能提高了26.1%。我们的工作实现可通过以下链接获得：https://github.com/rohban-lab/COBRA。

3. 效果展示

该图突出了CPAD和CSI在由于缺乏阈值而生成不正确异常时所面临的挑战。诸如FITYMI和Dream-OOD之类的技术从预训练模型的嵌入空间生成异常，通常会导致像素级细节的丢失，并显示出对用于预训练的数据集的偏差（例如，ImageNet）的网络。这种偏差降低了它们在预训练期间未看到的数据集（例如，像ISIC这样的医学成像数据集）上的有效性。相比之下，COBRA通过适应正态数据集的分布，在像素空间中有效地加工信息异常，并利用阈值方法过滤掉不正确的异常，所有这些都不需要任何额外的数据集。

由编码器f提取的特征的UMAP可视化，在CIFAR-10数据集上使用各种损失函数进行训练，以一类设置呈现，其中“汽车”类被指定为正常集。对于这个特定的实验，除了损失函数之外的所有元素都保持不变，以确保公平的比较。

4. 主要贡献

COBRA提出了一种简单而有效的方法来生成异常样本，并引入了一种新的损失函数来建立强健的检测边界。我们在对抗性和干净的设置中评估了COBRA，其中测试样本为良性。在对抗性场景中，我们使用了多种强攻击进行鲁棒性评估，包括PGD-1000（Madry 等, 2017）、AutoAttack（Croce 和 Hein, 2020）以及自适应AutoAttack（Liu 等, 2022）。结果表明，COBRA在没有使用任何额外数据集或预训练模型的情况下，在对抗性设置中显著优于现有方法，在AUROC上提高了26.1%，并在标准设置中取得了竞争性的结果。我们的实验覆盖了多个数据集，包括大规模和现实世界数据集，如自动驾驶（Cordts 等, 2016）、ImageNet（Deng 等, 2009）、MVTecAD（Bergmann 等, 2019）和ISIC（Codella 等, 2019），展示了COBRA的实际应用性。此外，我们还进行了消融研究，考察了COBRA各个组件的影响，特别是我们的伪异常生成策略和引入的对抗性训练方法。 推荐课程： 工业视觉检测如何检测低对比度缺陷？

5. 基本原理是啥？

1. 对抗性训练与损失函数的设计 ：COBRA通过设计一个创新的损失函数，结合对比学习的思想，来提升异常检测（AD）方法的鲁棒性。这个损失函数不仅关注正常样本和异常样本之间的区别，还通过生成具有挑战性的组内（同一类别）和组间（不同类别）对抗样本来增强模型的鲁棒性，从而有效应对对抗攻击。

2. 伪异常样本生成策略 ：COBRA提出了一种伪异常样本生成策略，通过构造具有挑战性的伪异常样本来增强模型的检测能力。这个策略无需依赖额外的训练数据，而是利用已有的数据，通过特定的合成方法生成伪异常样本，进一步提高了检测系统的鲁棒性。COBRA的这种策略在多个基准数据集上表现优异，相比于其他方法，能有效提高模型的鲁棒性和检测精度。

6. 实验结果

在实验部分，COBRA在多个基准数据集上进行了广泛的评估，验证了其在应对对抗性攻击下的优越性：

1. 综合鲁棒检测性能提升 ：COBRA在多个数据集上的平均鲁棒检测性能提升了最多26.1%，这表明它能有效应对对抗性攻击，且无需依赖预训练模型或额外的数据集。特别是在MVTecAD数据集上，COBRA的鲁棒检测性能从30.1%提升到了75.1%。

2. 对比实验结果 ：COBRA与现有的几种主流方法（如PANDA、Patchcore、ReContrast等）进行了对比。在一类检测（one-class detection）设置下，COBRA在多个数据集上表现优于其他方法。特别是在开放世界应用中，虽然COBRA的干净数据检测性能有所下降，但通过增强鲁棒性，它的表现仍然超越了许多其他方法，例如Transformaly方法，在干净数据设置下实现了88.2%的准确率，但在对抗攻击下大幅下降到4.1%。

3. 对抗训练效果 ：COBRA在对抗训练设置下展现了出色的鲁棒性。当使用干净训练替代对抗训练时，尽管鲁棒检测性能有所下降，但干净数据的检测性能提高了从84.1%到90.7%的AUROC（曲线下面积）。这一结果与相关文献中的发现一致，表明COBRA在对抗训练下的优势。

4. 强攻击下的鲁棒性 ：COBRA还针对多种强攻击（如AutoAttack、Adaptive AutoAttack、黑盒攻击等）进行了测试，显示出其对这些攻击的高鲁棒性。对于PGD攻击，COBRA在高分辨率和低分辨率数据集上均展示了强大的抗干扰能力。

5. 多种设置的表现 ：在一类和未标记多类（unlabeled multi-class）异常检测设置下，COBRA均表现优异，展示了其在不同应用场景中的广泛适用性。