告别标签！最新异常检测SOTA：FUN-AD！彻底解决数据噪声与缺失标签问题!

0.这篇文章干了啥？

这篇文章提出了一种新颖的完全无监督工业异常检测方法——FUN-AD，旨在解决传统一类分类方法在训练数据中存在噪声或缺乏标签时的局限性。作者基于两个观察：正常样本之间的特征距离较小，而最接近的特征对更可能是同类样本，提出了迭代重建记忆库（IRMB）和伪标签策略来有效识别异常。此外，文章还设计了基于均方误差（MAE）的互平滑损失函数，以增强类内一致性，从而减少任务的不适定性。通过在MVTec AD和VisA等工业基准数据集上的实验，作者验证了FUN-AD在不同异常比率和污染场景下的有效性，显示了其在无监督环境下优于现有方法的性能。

下面一起来阅读一下这项工作~

1. 论文信息

论文题目：FUN-AD: Fully Unsupervised Learning for Anomaly Detection with Noisy Training Data

作者：Jiin Im, Yongho Son等

作者机构：Dept. Electronic Engineering, Hanyang University 2Dept. Artificial Intelligence, Hanyang University

论文链接：https://arxiv.org/pdf/2411.16110

2. 摘要

虽然异常检测领域的主流研究主要遵循一类分类方法，但实际工业环境中常常由于标注错误或缺乏新产品或翻新的标签而导致训练数据噪声。为了解决这些问题，我们提出了一种新颖的基于学习的完全无监督异常检测方法，能够处理未标注且可能受污染的训练数据。我们的方法基于两个观察结果：
i) 正常样本之间的成对特征距离平均来说可能小于异常样本或异质样本之间的距离；
ii) 互为最接近的特征对更可能是同质对，这一观察在正常数据的方差小于异常数据时成立。

基于第一个观察结果，最近邻距离可以区分出可靠的正常样本和异常样本，我们提出了一种基于迭代重构记忆库（IRMB）的伪标签策略。第二个观察结果则作为一种新型损失函数，用于促进互为最接近特征对之间的类别同质性，从而减少任务的不适定性。

在两个公开的工业异常基准和语义异常示例上的实验结果验证了FUNAD在不同场景和异常与正常比率下的有效性。我们的代码可以在https://github.com/HY-VisionLab/FUNAD上获取。

3. 效果展示

在MVTec AD数据集上通过SOTA模型实现的异常检测结果的可视化。在每个组中，从左到右是每个模型的异常图像、地面实况和预测异常分数。

4. 主要贡献

• 首次对特征对距离进行统计分析，提供了从未标记的数据中区分正常样本的线索；
• 基于迭代重建的记忆库（IRMB）提出了一种新的伪标签方法，旨在利用上述特征对距离的统计信息；
• 提出了一个新的互平滑损失，通过对互为最近的特征对的异常得分进行对齐，从而减少任务的病态性，前提是这些特征对大部分属于同一类别；
• 提出了一个简单而有效的基于迭代学习的框架，用于完全无监督的异常检测，在公共工业数据集（MVTec AD 和 VisA）的不同污染设置下，取得了异常检测和定位的最新成果（SOTA）。

5. 基本原理是啥？

1. 正常样本之间的特征距离较小 ：
   在正常样本中，特征之间的距离通常较小，而异常样本与正常样本之间的特征距离较大。因此，通过计算样本之间的成对特征距离，可以有效区分正常样本和异常样本。具体来说，正常样本的成对距离平均较小，而异常样本或异质样本之间的距离相对较大。

2. 互为最接近的特征对通常是同质对 ：
   在正常数据中，特征的方差较小，相似的样本对（即互为最近邻的样本对）往往属于同一类别。换句话说，正常样本的特征对在空间中通常比较紧密，这种相似性有助于减少模型的不确定性。通过促进最接近特征对之间的同质性，可以有效提高分类的准确性，尤其是在样本标签缺失的情况下。

基于这两个观察，提出了以下的核心方法：

• 伪标签策略 ：使用迭代重构的记忆库（IRMB）来生成伪标签。该方法通过对样本特征进行不断的迭代计算，生成可靠的伪标签，帮助模型学习如何区分正常样本和异常样本。通过记忆库的重构，逐步减少初始噪声标签的影响，并在训练过程中持续优化。

• 互为最接近的特征对的类一致性 ：利用最接近特征对的类一致性，通过设计一种新的基于均方误差（MAE）的互平滑损失（mutual smoothness loss）来推动互为最接近的特征对的同质性。这有助于减少任务的不适定性（ill-posedness），即减少由于标签缺失或噪声引起的不确定性。

6. 实验结果

1. Toy 示例（语义异常检测） 我们首先在CIFAR-10数据集上进行了一个小规模实验，使用“汽车”类别作为正常类别，其余类别作为异常类别。实验结果如下：

• 图4a ：展示了当Local-Net随机初始化时的语义异常分数。
• 图4b ：展示了经过FUN-AD训练后的Local-Net语义异常分数。
• 图4c ：通过AUROC（受试者工作特征曲线下面积）度量，能够明显区分正常样本和异常样本，并且随着训练的进行，大多数正常样本被保存在记忆库中。该结果表明我们的模型能够有效地区分正常和异常样本。

2. 工业异常检测数据集 我们在两个公开的工业异常检测基准数据集上进行了实验，分别是MVTec AD和VisA。

• MVTec AD ：该数据集包括15个类别（10个物体类别和5个纹理类别）。在该数据集上，我们进行了如下实验：
• No overlap设置 ：在该设置中，我们将部分测试集中的异常样本以1:10的比例随机引入训练集，构建了一个受污染的训练数据集。实验结果显示，FUN-AD在该设定下在异常检测和定位任务上均优于现有的最先进方法（SOTA）。
• Overlap设置 ：在此设置下，测试集中的异常样本也被用于推理。结果表明，FUN-AD模型在该设置下的表现与No overlap设置下相当，而其他一些一类分类模型则出现了性能下降。
• VisA ：该数据集包含12个物体类别，实验结果表明，FUN-AD在VisA数据集上的表现显著优于现有方法，特别是在Overlap设置下，其他一类分类模型的性能下降，而FUN-AD保持了稳定的准确率。

3. 实验中使用的不同污染比例 在训练数据中加入不同污染比例的异常样本时，FUN-AD的表现如下：

• 无合成异常的FUN-AD ：训练数据中没有添加合成异常时，FUN-AD的表现并不如其他基线方法，特别是在训练数据中异常样本较少时。
• 添加合成异常的FUN-AD ：当合成异常占训练数据的5%时，FUN-AD通过伪标签标注合成异常样本，能够有效地学习区分正常样本和异常样本，表现出显著的性能提升。

4. 消融研究 通过消融研究（Ablation Study），我们进一步分析了不同因素对模型表现的影响，包括：

• 高斯噪声和互平滑损失的效果 ：高斯噪声增强了特征的鲁棒性，而互平滑损失能够有效减少假阳性，提升了模型的稳定性和准确性。
• 超参数敏感性 ：我们考察了伪标签生成过程中的超参数（如τn和τc）对模型的敏感性。实验结果表明，FUN-AD对这些参数的变化具有较强的鲁棒性，只有当τc显著低于默认值时，才会导致较高的假阳性率。

5. 训练数据污染比例的影响 我们还评估了不同污染比例下FUN-AD的表现。表格2展示了不同污染率对FUN-AD性能的影响。当训练数据中包含较少异常样本时，FUN-AD的性能较差，但随着训练数据中合成异常比例的增加，模型能够有效地学习如何区分异常和正常样本，尤其在合成异常占训练集的5%时，模型的表现最佳。

7. 总结 & 未来工作

我们解决了在完全无监督设置下识别工业异常的挑战性问题，其中训练数据集包含异常数据，但标签不可用。基于异常分布较广的假设，我们阐述了我们方法的分析动机和实证动机，即正常-正常特征对更可能形成较近的特征对，而互为最接近的特征对更可能具有相同的类别标签。为了结合这些观察结果，我们提出了一种新颖的无监督异常检测框架，该框架基于迭代重构的记忆库和成对距离统计量分配伪标签，从而实现对初始噪声标签的鲁棒性，并允许逐步细化学习信号。我们还通过提出基于MAE的互平滑损失函数来利用互为最接近特征的类别一致性，从而进行训练。通过大量的实验评估，我们展示了我们的方法在污染训练数据存在的情况下，在不同工业异常基准数据集上的竞争力。

本文仅做学术分享，如有侵权，请联系删文。

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括 2D计算机视觉 、 最前沿 、 工业3D视觉 、 SLAM 、 自动驾驶 、 三维重建 、 无人机 等方向，细分群包括：

工业3D视觉 ：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM ：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶 ：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建 ：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机 ：四旋翼建模、无人机飞控等

2D计算机视觉 ：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等