近年,
多模态医学图像融合
空前火热,顶会成果相当多。在前段时间刚结束的AAAI 2025大会上,就有一篇引起AI4S研究者关注的课题:由国内两大高校联合提出的BSAFusion,将图像配准与融合集成于统一框架,单阶段即可完成对齐与融合,开创了医学图像融合新技术方向。
如今,多模态医学图像融合搞创新更偏向
基于深度学习的融合
,主要是因为深度学习算法过于强大,特征提取能力、泛化能力都遥遥领先,还能和其他先进技术结合,进一步提升多模态医学图像融合各方面的效果,对于医学领域来说,是更佳选择,研究前景广阔。
上述成果也呈现了
基于深度学习为主流,同时混合多种技术辅助的发展趋势
,如果大家想发表相关论文,也还是建议从这角度入手。我这边整理了
12篇
多模态医学图像融合新成果
,代码基本都有,需要的同学可无偿获取,顺便也点个赞支持下~
扫码添加小享,
回复“
多医12
”
免费获取
全部论文+开源代码
BSAFusion: A Bidirectional Stepwise Feature Alignment Network for Unaligned Medical Image Fusion
方法:
本文提出了一种单阶段多模态医学图像配准与融合框架,通过共享特征编码器和引入模态差异消除方法,减少了模型复杂性,并通过双向逐步特征对齐策略和多模态特征融合模块实现了精确高效的特征对齐和融合。
创新点:
-
提出了一种单阶段的多模态医学图像配准与融合框架,区别于传统的两阶段方法,通过共享特征编码器来降低模型复杂度。
-
采用基于向量位移路径独立性的双向逐步对齐变形场预测策略,提升特征对齐的精度。
-
MDF-FR通过将当前图像中MFRH的信息注入其他模态图像中,有效减小模态差异对特征对齐的负面影响。
Multimodal Medical Image Fusion Network Based on Target Information Enhancement
方法:
研究提出了一种多模态MRI图像融合方法,通过引入基于信息熵的特征信息测量块、融合块和新损失函数,旨在增强图像的纹理信息和结构清晰度,并通过跨模态学习与信息增强技术实现不同模态下肿瘤特征的显著呈现。
创新点:
-
提出了基于信息熵的特征信息测量块,通过跳跃连接在编码和解码阶段间建立高效的特征通道筛选机制,增强了特征的复用性和纹理丰富性。
-
-
提出了一个结合模态和组织加权的新损失函数,利用区域对比度指数来控制源图像信息的保留程度,关注在不同医学应用中关键的感兴趣区域。
扫码添加小享,
回复“
多医12
”
免费获取
全部论文+开源代码
Deep evidential fusion with uncertainty quantification and reliability learning for multimodal medical image segmentation
方法:
本文提出一种结合Dempster-Shafer理论(DST)和深度神经网络的多模态医学图像分割方法,通过证据映射模块和多模态证据融合模块,优化分割性能与不确定性量化,解决了传统多模态图像融合方法在解释和可靠性上的局限。
创新点:
-
提出了一种新颖的融合架构,将特征提取、证据映射和组合模块结合起来,用于多模态医学图像分割。
-
引入了一种上下文折扣操作,以修正每种成像模态的质量函数,从而更好地考虑不同模态在不同上下文中的可靠性。
-
提出了一种改进的双部分损失函数,使得既可以优化每个独立模态的分割性能,又能优化组合决策的整体性能。
FusionMamba: dynamic feature enhancement for multimodal image fusion with Mamba
方法:
通过设计一个新的动态特征增强模型,结合改进的高效Mamba模型和动态卷积、通道注意力等方法,提高全局建模能力和局部特征提取能力,有效增强纹理、差异感知和模态之间的相关性,抑制冗余信息,从而在各种多模态图像融合任务中展示出卓越的性能。