【论文推荐】H-DenseFormer：多模态融合分割的高效混合密集连接Transformer

小白学视觉 · 公众号 · · 2024-12-18 10:05

正文

点击下方“ ReadingPapers ”卡片，每天获取顶刊论文解读

论文信息

题目：H-DenseFormer: An Efficient Hybrid Densely Connected Transformer for Multimodal Tumor Segmentation

H-DenseFormer：一种高效的混合密集连接Transformer用于多模态肿瘤分割

作者：Jun Shi, Hongyu Kan, Shulan Ruan, Ziqi Zhu, Minfan Zhao, Liang Qiao, Zhaohui Wang, Hong An, Xudong Xue

源码：https://github.com/shijun18/H-DenseFormer

论文创新点

混合密集连接网络（H-DenseFormer） ：作者提出了一种结合卷积神经网络（CNN）和Transformer结构的混合密集连接网络，用于多模态肿瘤分割。该网络通过集成Transformer的多路径并行嵌入（MPE）模块，能够处理任意数量的模态输入，从不同模态中提取融合特征。
轻量级密集连接Transformer（DCT）模块 ：作者设计了一个轻量级的DCT模块，以替代标准的Transformer模块，从而显著降低计算复杂度。DCT模块通过密集连接不同的Transformer层，在保持表示能力的同时减少了计算和内存需求。
多路径并行嵌入（MPE）模块 ：MPE模块为每个模态分配独立的编码路径，然后合并所有路径的语义特征并将其传递给分割网络的编码器。这种设计解耦了不同模态的特征表示，同时放宽了对特定模态数量的输入限制。
深度监督（DS）损失 ：作者在分割网络中引入了深度监督损失机制，通过多尺度输出参与最终损失计算，提高了网络的收敛速度和性能。该方法结合了Focal损失和Dice损失，以缓解像素不平衡问题。

摘要

近年来，深度学习方法在多模态医学图像的肿瘤分割中取得了显著成果。然而，大多数现有方法受限于表示能力不足、特定模态数量和高计算复杂度。本文提出了一种用于肿瘤分割的混合密集连接网络，称为H-DenseFormer，它结合了卷积神经网络（CNN）和Transformer结构的表示能力。具体来说，H-DenseFormer集成了一个基于Transformer的多路径并行嵌入（MPE）模块，可以接受任意数量的模态作为输入，从不同模态中提取融合特征。然后，将多模态融合特征传递到编码器的不同层次，以增强多模态学习表示。此外，我们设计了一个轻量级的密集连接Transformer（DCT）模块，以替代标准的Transformer模块，从而显著降低计算复杂度。我们在两个公共多模态数据集HECKTOR21和PI-CAI22上进行了广泛的实验。实验结果表明，我们提出的方法在具有较低计算复杂度的同时，优于现有的最先进方法。

关键字

肿瘤分割 · 多模态医学图像 · Transformer · 深度学习

2. 方法

2.1 H-DenseFormer的整体架构

图1展示了我们方法的整体架构。H-DenseFormer包括一个多路径并行嵌入（MPE）模块和一个U型分割骨干网络，采用输入级融合形式。前者作为多模态融合特征的辅助提取器，后者用于生成预测。具体来说，给定一个多模态图像输入或，具有的空间分辨率，深度维度（切片数量）和通道（模态数量），我们首先利用MPE提取和融合多模态图像特征。然后，将获得的特征逐步上采样并传递给分割网络的编码器，以增强语义表示。最后，分割网络生成多尺度输出，用于计算深度监督损失作为优化目标。

2.2 多路径并行嵌入

许多方法已经证明，解耦不同模态的特征表示有助于提取高质量的多模态特征。受此启发，我们设计了一个多路径并行嵌入（MPE）模块，以增强网络的表示能力。如图1所示，每个模态都有一个独立的编码路径，由一个补丁嵌入模块、堆叠的密集连接Transformer（DCT）模块和一个重塑操作组成。不同路径的独立性使得MPE能够处理任意数量的输入模态。此外，Transformer的引入提供了建模全局上下文信息的能力。给定输入，经过卷积嵌入和标记化后，获得的第路径特征为，其中，和分别表示路径大小和嵌入特征长度。首先，我们连接所有模态的特征，并使用卷积操作将其纠缠在一起。然后，进行插值上采样以获得多模态融合特征

，其中表示通道维度。最后，逐步上采样到多个尺度，并传递给不同的编码器阶段，以增强学习表示。

2.3 密集连接Transformer

标准Transformer结构通常由与特征维度成正比的密集线性层组成。因此，集成Transformer可能会导致大量额外的计算和内存需求。缩短特征长度可以有效减少计算，但同时也削弱了表示能力。为了解决这个问题，我们提出了受DenseNet启发的密集连接Transformer（DCT）模块，以平衡计算成本和表示能力。图1详细展示了DCT模块，它由四个Transformer层和一个前馈层组成。每个Transformer层有一个线性投影层，将输入特征维度减少到以节省计算。不同的Transformer层密集连接，以较低的特征维度保持表示能力。最后的前馈层生成不同层的融合特征。

2.4 分割骨干网络

H-DenseFormer采用U型编码器-解码器结构作为其骨干网络。如图1所示，编码器逐步提取特征并降低其分辨率。为了保留更多细节，我们将最大下采样因子设置为8。来自MPE的多级多模态特征以逐位加法的方式融合，以丰富语义信息。解码器用于恢复特征的分辨率，由反卷积和卷积层组成，并与编码器进行跳跃连接。特别地，我们采用深度监督（DS）损失来提高收敛性，这意味着解码器的多尺度输出参与最终损失计算。

深度监督损失

在训练过程中，解码器有四个输出；例如，2D H-DenseFormer的第个输出为

【论文推荐】H-DenseFormer：多模态融合分割的高效混合密集连接Transformer

正文

点击下方“ (adsbygoogle = window.adsbygoogle || []).push({}); ReadingPapers ”卡片，每天获取顶刊论文解读 论文信息

点击下方“ (adsbygoogle = window.adsbygoogle || []).push({}); ReadingPapers ”卡片，每天获取顶刊论文解读

论文信息