专栏名称: 小白学视觉

本公众号主要介绍机器视觉基础知识和新闻，以及在学习机器视觉时遇到的各种纠结和坑的心路历程。

MICCAI'24 | CriDiﬀ：通过生成预训练的交叉注入扩散框架实现目标分割

小白学视觉 · 公众号 · · 2024-12-19 10:17

正文

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ”

重磅干货，第一时间送达

论文信息

题目：CriDiﬀ: Criss-cross Injection Diﬀusion Framework via Generative Pre-train for Prostate Segmentation

CriDiﬀ：通过生成预训练的交叉注入扩散框架实现前列腺分割

作者：Tingwei Liu, Miao Zhang, Leiye Liu, Jialong Zhong, Shuyao Wang, Yongri Piao, and Huchuan Lu

源码：https://github.com/LiuTingWed/CriDiﬀ

论文创新点

交叉注入策略（CIS） ：作者提出了一种新颖的 交叉注入策略（CIS） ，通过这种策略，模型能够互补地利用边缘和非边缘区域的多级特征，从而最大化多级特征的使用。
边界增强条件器（BEC）和核心增强条件器（CEC） ：为了有效地学习多级边缘特征和非边缘特征，作者设计了两个并行条件器，即 边界增强条件器（BEC） 和 核心增强条件器（CEC） 。这两个条件器分别专注于学习图像的边缘纹理特征和非边缘语义特征。
生成预训练（GP）方法 ：作者引入了一种 生成预训练（GP） 方法，该方法在目标域内的生成任务上预训练扩散模型，以缩小条件特征与扩散模型特征之间的域差距，从而在不引入额外参数的情况下提高模型性能。
先进的性能表现 ：在四个基准数据集上的广泛实验证明了所提方法的有效性，作者的方法在四个评估指标上实现了 最先进的性能 。

摘要

最近，基于扩散概率模型（DPM）的方法在医学图像分割领域取得了显著的成功。然而，大多数这些方法未能使扩散模型有效地学习边缘特征和非边缘特征，并将它们有效地注入到扩散骨干网络中。此外，图像特征与扩散模型特征之间的域差距对前列腺分割提出了巨大挑战。在本文中，作者提出了CriDiﬀ，这是一个具有交叉注入策略（CIS）和生成预训练（GP）方法的两阶段特征注入框架，用于前列腺分割。CIS通过有效利用高低级特征的互补性，最大化了多级特征的使用。为了有效地学习多级边缘特征和非边缘特征，我们提出了CIS中的两个并行条件器：边界增强条件器（BEC）和核心增强条件器（CEC），它们分别区分地模拟图像的边缘区域和非边缘区域。此外，GP方法减少了图像特征与扩散模型特征之间的不一致性，而无需添加额外的参数。在四个基准数据集上的广泛实验证明了所提方法的有效性，并在四个评估指标上实现了最先进的性能。

关键词

深度学习 · 扩散模型 · 前列腺分割

2 方法

CriDiﬀ的架构如图1所示。在第一阶段，我们利用DPM的生成能力将分割任务表述为一个生成问题，开发了一个能够精确捕捉前列腺图像特征的模型。在第二阶段，CIS以交叉方式将边界和核心特征注入到预训练的扩散模型中。为了有效地学习边界和核心区域的特征，我们采用了提出的BEC和CEC来分别学习前列腺图像的边界和核心特征。最后，高斯噪声在边界、核心和图像特征信息的指导下生成最终的预测图。

2.1 生成预训练方法

为了减少条件特征与扩散模型特征之间的域差距，我们引入了一种用于前列腺分割的生成预训练方法。扩散模型通过两个过程操作：最初，在前向过程中，通过添加高斯噪声，在T步中逐步对图像进行噪声处理。随后，在逆阶段，神经网络学习通过逆转这种噪声添加来恢复原始数据。给定前列腺图像，逆过程可以表示为：

，其中表示去噪模型参数，是潜变量分布。通过训练过程，参数获得了表示前列腺特征的能力，使得从高斯噪声分布到前列腺数据分布的转变成为可能。按照[8]，被视为噪声预测网络，通过简单的均方误差进行优化：

其中是第t步的噪声前列腺图像。通过应用重参数化，，其中表示常数超参数，是第t步的噪声。

2.2 边界增强条件器和核心增强条件器

与之前通过加权损失函数增强边缘学习的方法不同，我们提出了两个并行条件器来分离边缘和核心信息的学习。如图2所示，BEC从更多的卷积层开始，随着网络深入而减少。相反，CEC随着网络加深而增加卷积层数。鉴于编码器的边输出表示为从大到小。然后这些特征在每个级别上并行转换为相同数量的维度（例如，在我们的实现中为64）。这些层后面是3×3卷积、批量归一化和relu的组合。通过这些层，我们可以获得统一通道特征，对于从1到4。最后，BEC中的多级特征在第行和第列可以表示为：

其中表示3×3 Conv-Bn-Relu操作。表示连接操作，是上采样操作，上采样率为2。类似地，在此基础上，CEC中的第行和第列实现如下：

然后，来自BEC和CEC的多尺度特征被送入一个流线型的FPN以获得集成的前列腺特征。它可以定义为：

MICCAI'24 | CriDiﬀ：通过生成预训练的交叉注入扩散框架实现目标分割

正文

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ”

重磅干货，第一时间送达

论文信息

重磅干货，第一时间送达

论文信息

题目：CriDiﬀ: Criss-cross Injection Diﬀusion Framework via Generative Pre-train for Prostate Segmentation

CriDiﬀ：通过生成预训练的交叉注入扩散框架实现前列腺分割

作者：Tingwei Liu, Miao Zhang, Leiye Liu, Jialong Zhong, Shuyao Wang, Yongri Piao, and Huchuan Lu

源码：https://github.com/LiuTingWed/CriDiﬀ

论文创新点

摘要

关键词

2 方法

2.1 生成预训练方法

2.2 边界增强条件器和核心增强条件器

请到「今天看啥」查看全文

MICCAI'24 | CriDiﬀ：通过生成预训练的交叉注入扩散框架实现目标分割

正文

点击上方 (adsbygoogle = window.adsbygoogle || []).push({}); “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 论文信息

重磅干货，第一时间送达

论文信息

题目：CriDiﬀ: Criss-cross Injection Diﬀusion Framework via Generative Pre-train for Prostate Segmentation

CriDiﬀ：通过生成预训练的交叉注入扩散框架实现前列腺分割

作者：Tingwei Liu, Miao Zhang, Leiye Liu, Jialong Zhong, Shuyao Wang, Yongri Piao, and Huchuan Lu

源码：https://github.com/LiuTingWed/CriDiﬀ

论文创新点

摘要

关键词

2 方法

2.1 生成预训练方法

2.2 边界增强条件器和核心增强条件器

请到「今天看啥」查看全文

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ”

重磅干货，第一时间送达

论文信息