专栏名称: 将门创投

将门是一家专注于发掘及加速技术创新激活商业价值的创业公司的创投机构。将门旗下设有将门创新服务、将门技术社群以及将门投资基金。关注领域包括机器智能、物联网、自然人机交互、企业计算。

ECCV 2024 | 研究残差及跳跃连接的可解释性，层相关性传播LRP在ResNet网络中的适配

将门创投 · 公众号 · 科技创业 · 2024-10-11 08:22

正文

虽然，现代神经网络仍然无法摆脱“黑盒”困境，但这些年，网络的可解释研究始终在向前发展。解释方法的公式透明化对于阐明神经网络的预测行为至关重要。近来比较受欢迎的分层相关性传播（Layer-wise Relevance Propagation，LRP）方法可以透明地计算出反向传播的相关性分数，并在模型预测时追踪其在整体架构中的流动情况。但这种方式缺乏进一步的发展，例如传统的LRP方法没有充分考虑网络中跳跃连接的存在，因此其在广泛使用的ResNet架构中尚未得到研究。

本文介绍一篇发表在ECCV 2024上的工作，在本文中，作者通过对跳跃连接和残差块的输出收敛性进行相关性拆分，从而将LRP 扩展到 ResNet 网络中。本文的证明公式拥有高度的过程守恒性，保证了生成解释的质量和完成性。此外，本文在ImageNet 和 Caltech-UCSD Birds-200-2011两个权威的数据集上进行了实验验证，本文方法在现有可解释评估指标上实现了SOTA性能。

论文题目：

Layer-Wise Relevance Propagation with Conservation Property for ResNet

论文链接：

https://arxiv.org/abs/2407.09115

项目主页：

https://5ei74r0.github.io/lrp-for-resnet.page/

代码仓库：

https://github.com/keio-smilab24/LRP-for-ResNet

一、引言

现有的神经网络可解释方法可以通过添加噪声扰动或基于梯度信息在图像上生成解释 ，例如非常具有代表性的RISE[1]和Grad-CAM[2]等方法。后续出现的LRP方法可以清晰的计算出反向传播的相关性分数，同时还可以捕获其在网络内部的流动情况，这对于理解网络最终的决策具有重要意义。 但美中不足的是，传统的LRP方法无法很好地处理ResNet这类带有跳跃连接的模型 ，因此需要对LRP进行扩展和改进，作者重点考虑了以下几个关键问题：

如何 在LRP的框架下有效地传播ResNet中跳跃连接处的相关性评分?
如何 保证整个相关性传播过程满足"相关性保守"的性质 ，确保预测结果的完整性和可解释性?
如何 改善LRP生成的视觉解释，防止过度集中在无关区域?

本文的核心贡献是引入了一种“相关性拆分（Relevance Splitting）”机制 ，整体框架如上图所示，即在ResNet的Bottleneck模块中， 对跳跃连接和残差块的输出进行深度拆解，并以守恒的形式对相关性分数进行传播 。这种拆分机制可以同时考虑跳跃连接和残差块的贡献，从而为ResNet模型生成高质量、透明的解释。

二、LRP的基础概念

LRP方法的核心思想是通过反向传播的方式，将模型的预测结果分解到输入特征上，从而生成可视化的解释。对于一个给定的输入样本，LRP会计算每个输入特征对最终预测结果的贡献度，也就是该特征的"相关性"。随后，LRP会将输入特征上的相关性得分以热力图的形式呈现出来，从而给出一个可解释的视觉解释。热力图中越亮的区域，代表对最终预测结果贡献越大。 在对相关性分数进行传播时，LRP引入了多种不同形式的传播规则 ，这些规则必须满足两个基本条件：

相关性保守 性：每一层的相关性得分之和等于前一层的相关性得分之和。这确保了相关性得分在整个网络中得到完整传递，没有遗漏。
非负性 ：每个特征的相关性得分都应该是非负的。这是为了确保相关性热力图的直观性，即越亮的区域代表越重要的特征。

在满足上述两个条件的前提下， LRP可以根据当前的网络层类型进行细则的定制 ，例如对于线性变换层（如全连接层），LRP可以使用z-Rule来计算相关性:

其中，是权重矩阵的元素，是第层的第个特征。分母项确保了相关性在层间的保守传递。 通过定制不同的传播规则，LRP能够适用于各种类型的神经网络层 ，如卷积层、池化层、全连接层等。

三、本文方法

3.1 将LRP扩展到ResNet架构中

由于ResNet网络中每个Bottleneck模块都会有一个跳跃连接， 可以将前层的特征直接传递到后层，形成了多个非线性的相关性传播路径 ，而标准的LRP传播规则无法很好地处理这种情况。为此，本文对LRP方法进行了ResNet架构的适配，整体框架如下图所示。

作为ResNet中的关键的模块Bottleneck， 本文提出的LRP扩展方法主要针对Bottleneck进行设计 ，具体来说，假设Bottleneck模块的输入为，输出为，其中表示层索引。LRP的目标是计算出中每个元素对最终预测结果的贡献度，即相关性得分。为了使该分数能够同时兼顾跳跃连接和残差块对结果的贡献，论文提出了一种"相关性拆分"机制。 即将第 层的相关性得分 分为两部分：其中 负责表示跳跃连接传播的相关性得分， 负责表示残差块传播的相关性得分 。为了确保"相关性保守"性质，作者设定。