点击下方“
ReadingPapers
”卡片，每天获取顶刊论文解读
论文信息
题目：ALFREDO: Active Learning with FeatuRe disEntanglement and DOmain adaptation for medical image classification
ALFREDO：用于医学图像分类的主动学习与特征解耦和领域适应
作者：Dwarikanath Mahapatra, Ruwan Tennakoon, Yasmeen George, Sudipta Roy, Behzad Bozorgtabar, Zongyuan Ge, Mauricio Reyes
本文的创新点
我们的工作是第一个在医学图像分析设置中查看主动领域适应的工作之一。本文做出了以下贡献：
-
我们提出了第一个应用于医学图像分析的主动领域适应应用，记为ALFREDO（主动学习与特征解耦和领域适应）。
-
我们提出了一种特征解耦方法，从给定图像中提取特定于域和特定于任务的特征。特定于域的组件是指源特定部分，例如扫描仪、供应商或医院。特定于任务的组件是指分类、分割或其他任务，这些是方法的重点。这些特征的组合用于主动学习基于样本选择和分类。
-
使用不同的特征组件，我们提出了新的度量标准，以量化不同域中样本的信息量。因此，我们证明了新的特征解耦组件能够在领域偏移存在的情况下识别信息丰富的样本。
-
我们通过使用它对3个公开可用的医学成像数据集进行分类来评估我们方法的有效性。我们还针对用于计算机视觉应用的多个领域适应和主动领域适应方法对我们的方法进行了基准测试。
摘要
最先进的深度学习模型在训练（源）数据和测试（目标）数据之间存在分布偏移时，往往无法泛化。领域适应方法旨在使用标记样本（监督领域适应）或未标记样本（无监督领域适应）来解决这一问题。主动学习是一种选择信息样本以从最小标记中获得最大性能的方法。选择信息丰富的目标域样本可以提高模型性能和鲁棒性，并减少数据需求。本文提出了一种名为ALFREDO（主动学习与特征解耦和领域适应）的新流程，它在领域偏移下执行主动学习。我们提出了一种新的特征解耦方法，将图像特征分解为特定于域的和特定于任务的组件。特定于域的组件是指提供源特定信息的特征，例如扫描仪、供应商或医院。特定于任务的组件是分类、分割或其他任务的区分特征。之后，我们定义了多个新成本函数，以在领域偏移下识别信息丰富的样本。我们使用一个组织病理学数据集和𝑖𝑖𝑖?胸部X射线数据集测试了我们提出的方法进行医学图像分类。实验表明，我们的方法与其他领域适应方法相比，在最先进的结果上有所提高，以及在主动领域适应方法中也处于最新水平。
关键词
主动学习、领域适应、特征解耦、X射线、组织病理学
3. 方法
3.1 特征解耦网络
领域偏移的主要挑战是学习到的源域特征无法转移到目标域。因此，我们无法在目标域数据上复制源域性能。通常使用的方法之一是将两个域的数据映射到一个共同的特征空间，以便在其中一个域上训练的模型可以在另一个域上表现良好。MMD（最大差异）方法（Bermudez-Chacon等人，2018）是最早利用这种情况的方法之一。然而，对于主动领域适应，MMD类方法存在以下挑战：（1）它不能确保新特征空间为源域数据在其原始特征空间中提供最佳结果。（2）由于特征空间的次优性质，选择的信息样本可能不理想，无法进行主动学习。
图1显示了我们提出的方法的工作流程。特征解耦网络（FDN）（图2）由源和目标域的自动编码器组成。FDN由两个编码器（
，
）和两个解码器网络（
，
）组成，分别用于源域和目标域。与经典的自动编码器类似，每个编码器
为图像
产生潜在代码
。每个解码器
从
重建原始图像。此外，我们将潜在代码
分为两个组件：特定于域的组件
和特定于任务的组件
，通过为潜在代码设置两个头部。通过以下损失函数训练解耦网络：
输入数据由源域和目标域的图像组成（图1（a））。两个域的解耦特征分别表示为
，
用于源域，以及
，
用于目标域。
，
然后结合输入到源解码器
以重建原始源域图像，而
，
结合并作为输入输入到源解码器
以重建原始目标域图像。由于特定于域的特征对域独有的信息进行编码，因此它们对于源和目标域是不同的。因此，
和
之间的语义相似性会很低。这是通过以下损失项捕获的：
此外，我们期望两个域的任务特定特征具有高相似性，因为它们解决的是识别不同域图像的共同标签的任务。这是通过以下损失项纳入的：
我们希望两个组件的特征尽可能不同，以捕获相互补充的信息，这是通过以下损失项实现的：
为确保在提取任务特定特征时性能不受影响，我们通过以下损失项强制执行它们与无任务特定约束提取的特征的相似性。使用任务特定特征训练分类器时，应该获得与使用原始图像特征获得的性能水平相似。我们首先使用源域数据的原始图像特征训练基线分类模型（记为
）。对于源域中的给定样本
，我们将其传递给
以获得特征向量
。任务特定组件表示为
。它们的余弦相似度应该很高，以确保它捕获了高度相关的信息。相应的损失项是：
注意，特征向量
是从预训练分类器获得的，可以被认为是最优特征向量（取决于所选的分类器模型
），而任务特定特征向量
是作为训练过程的一部分获得的。我们的目标是确保
在语义相似性方面非常接近
。
就是这样命名的，以表明它与
的比较。我们使用DenseNet-121作为
。
3.2 信息样本选择
在训练了特征解耦网络并获得了不同的特征集之后，我们在任务特定特征
上训练两个分类器，
在源域特征
上。源域特征
与目标域任务特定特征集
具有高相似性。因此，这确保了在源域特征
上训练的分类器
可以与
一起使用以获得类似的性能水平，并更容易识别信息样本。我们定义了多个评分函数来根据多个标准量化信息量，样本的最终信息分数是这些分数的组合。
我们使用以下标准选择信息样本：（1）不确定性：我们采用在源域特征上训练的模型
，并用它来计算目标域样本的任务特定特征的不确定性。由于源域和目标域特征相似，模型
可以可靠地确定最不确定的样本。为了衡量信息量，我们使用预测熵
（Wang和Shang，2014），对于C类分类，定义为：
（2）域新性：确定一个样本是否与参考样本（例如，源域）来自同一域或属于不同的域。最近的主动学习或ADA方法（Huang等人，2018；Su等人，2020b）认为与源域样本差异性大的样本是信息性的，因为它们捕获了目标域中的独特特征。然而，目标域中存在异常值，这些异常值对于目标分类并不信息性。在具有领域偏移的原始特征空间中，与源域不同的正常目标样本和目标异常值都远离源域，没有明确的方法可以排除异常值。
对于给定的目标域样本，我们获得其解耦特征表示
，
。特定于域的特征
