ECCV'24 | APC vs PatchCore？带你探索在工业异常检测中如何使用异常样本！

0.这篇文章干了啥？

这篇文章提出了一种新的工业异常检测系统——APC，旨在通过集成分类、分割和重建三项辅助任务，优化特征提取器，从而有效利用少量异常样本来提高异常检测的性能。在MVTec AD数据集上的全面评估表明，APC在图像级检测方面优于现有的PatchCore和PRNet方法，尽管在像素级定位上仍有提升空间，但已具备良好的检测质量。文章还通过消融实验分析了不同辅助任务的影响、网络架构的选择（U-Net2和U-Net4）及预训练任务（ImageNet和MoCo v3）的效果，并发现APC对合成数据的依赖较低，能够更有效地利用真实数据。整体而言，APC展示了在工业异常检测中的潜力，并为未来改进提供了方向。

下面一起来阅读一下这项工作~

1. 论文信息

论文题目：AnomalousPatchCore: Exploring the Use of Anomalous Samples in Industrial Anomaly Detection

作者：Mykhailo Koshil, Tilman Wegener等

作者机构：University of Tübingen等

论文链接：https://arxiv.org/pdf/2408.15113

2. 摘要

视觉检查或工业异常检测是制造业中最常见的质量控制类型之一。该任务是识别图像中是否存在异常，例如电路板图像上缺失的组件，以便后续进行人工检查。尽管近年来工业异常检测得到了快速发展，但大多数异常检测方法仍然仅利用正常样本的信息，而未能利用频繁存在的异常样本的信息。此外，这些方法还严重依赖于在通用图像分类数据集上预训练的非常通用的特征提取器。本文针对这些不足，提出了新的异常检测系统 AnomalousPatchCore (APC)，该系统基于经过正常和异常领域样本微调的特征提取器以及一个用于识别异常特征的记忆库。为了在 APC 中微调特征提取器，我们提出了三个辅助任务，以解决异常检测中的不同方面（分类与定位），并减轻正常样本与异常样本之间的不平衡影响。我们在 MVTec 数据集上的广泛评估表明，APC 在检测异常方面优于现有的最先进系统，这在工业异常检测中尤为重要，因为需要后续的人工检查。在详细的消融研究中，我们进一步探讨了 APC 的性质。

3. 效果展示

我们提出的异常检测系统APC和PatchCore在MVTec数据集上的结果。定位结果与原始图像重叠。红色表示可能的异常区域，而蓝色表示可能的正常区域。

在MVTec数据集上，我们的APC方法和标准PatchCore在每个类别中使用10个异常样本的定性定位结果。定位结果覆盖在原始图像上。红色表示可能的异常区域，而蓝色表示可能的正常区域。

4. 主要贡献

• 我们提出了 APC，这是一种新颖且简单的异常检测方法，通过改进特征提取来有效利用少量异常样本的知识。
• 为了利用异常样本的知识，我们设计了三个辅助任务，并通过消融研究证明了其有效性。
• 我们的综合评估显示，与仅在正常样本上训练的最先进系统相比，使用 APC 和异常样本进行异常检测具有明显的优势。

5. 基本原理是啥？

1. 特征提取器的微调 ：APC系统通过一种新的微调策略来优化特征提取器。这种策略基于三个辅助任务：

• 分类（Classification） ：通过分类任务微调特征提取器，使其能够识别正常和异常样本。
• 分割（Segmentation） ：通过分割任务优化特征提取器，以便更好地定位异常。
• 重建（Reconstruction） ：通过重建任务进一步提高特征提取器的性能，使其能够重建正常样本，并检测异常样本的偏差。

6. 实验结果

1. 图像级检测 ：

• AUROCim（接收者操作特征曲线下面积） ：APC系统在AUROCim指标上超越了标准的PatchCore和PRNet系统。相比PatchCore，APC在AUROCim上提高了1.62，F1im提高了1.51，而与PRNet相比，APC在AUROCim上提升了8.44，F1im提升了6.40。这表明APC在图像级异常检测中具有显著的性能提升。

• AUROCpx和F1px（像素级AUROC和F1分数） ：在像素级的异常定位任务中，PatchCore在AUROCpx和F1px指标上超越了APC。尽管APC在AUROCpx上优于PRNet，但定位性能相对较弱。这主要是因为APC使用的高层特征响应强烈，导致分割区域较宽泛。

• Pill类别 ：APC在Pill类别上的AUROCim达到了97.70，比基线提高了11.27，F1im达到了96.96，比基线提高了3.78。尽管定位性能有所下降，但仍能有效指导手动检查。 推荐学习： 工业深度学习异常缺陷检测实战教程
• Tile类别 ：APC在Tile类别上表现出色，AUROCpx提升了2.19，F1px提升了9.92，主要得益于减少了假阳性。
• Screw类别 ：在Screw类别上，APC未能超越PatchCore的检测和定位指标，主要原因是对微小异常区域的关注不足。

• 辅助任务的影响 ：添加分类、分割和重建任务均提高了图像级检测性能。分类任务提高了AUROCim，但分割任务在定位性能上有所提升。重建任务在图像级检测上改善显著，但对定位性能的影响较小。
• 辅助任务架构 ：U-Net2架构（具有两个跳跃连接）在辅助任务中表现较好，而U-Net4架构（具有四个跳跃连接）虽然在定位上有优势，但未显著改善检测性能。
• 预训练任务 ：MoCo v3预训练相较于标准ImageNet预训练，在图像级检测中表现更好，尽管定位结果略有下降。
• 数据增强的影响 ：APC系统在没有合成数据生成的情况下依然表现出色，显示出对数据增强的较低依赖性。这表明APC能更有效地利用域内数据。

7. 总结 & 未来工作

在本文中，我们提出了一种新颖的工业异常检测系统—APC，它有效地利用了少量异常样本的信息。这通过将基于分类、分割和重建这三种辅助任务的新型微调策略整合到基于特征的异常检测流程中实现。我们在MVTec数据集上的广泛评估结果显示，APC在异常检测性能上优于现有的最先进系统，尽管在定位方面还需进一步改进，但已经具备了较好的质量。然而，由于工业异常检测的筛查性质，后续的人工检查使得完美的定位并非首要关注点。未来的研究方向可以包括改进合成数据生成流程，以解决这一不足。

本文仅做学术分享，如有侵权，请联系删文。

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括 2D计算机视觉 、 最前沿 、 工业3D视觉 、 SLAM 、 自动驾驶 、 三维重建 、 无人机 等方向，细分群包括：

工业3D视觉 ：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM ：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建 ：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机 ：四旋翼建模、无人机飞控等

2D计算机视觉 ：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿 ：具身智能、大模型、Mamba、扩散模型等

除了这些，还有 求职 、 硬件选型 、 视觉产品落地、产品、行业新闻 等交流群

添加小助理: dddvision，备注： 研究方向+学校/公司+昵称 （如 3D点云+清华+小草莓 ）, 拉你入群。

3D视觉工坊知识星球