CNN+Transformer
这类结构其实一直都挺火的，核心在于他们的互补性。因为在一些复杂的AI应用中，单个模型很难同时高效处理多种类型的数据。如果结合CNN在图像处理上的强大能力和Transformer在序列数据处理上的优势，就可以增加模型处理的灵活性，提高计算效率。
这种结构也是非常热门的毕业or小论文选择，
刚刚过去的2024年就有相当多顶会顶刊成果，感兴趣的同学们抓紧。目前CNN+Transformer比较常见的创新就是架构设计创新、注意力机制优化、特征融合策略改进、预训练与微调策略创新、特定领域应用...
本文根据这些方向提供
15个
最新的CNN+Transformer创新点
参考，基本都有代码可复现，帮大家节省了查找的时间，有论文需求的同学可无偿获取，希望大家科研顺利哦！
扫码添加小享，
回复“
卷结合思路
”
免费获取
全部论文+开源代码
LEFormer: A hybrid CNN-transformer architecture for accurate lake extraction from remote sensing imagery
方法：
论文提出了一种结合卷积神经网络（CNN）和Transformer的混合架构，用于从遥感图像中准确提取湖泊。SCTNet通过在训练阶段使用transformer语义信息来提高实时语义分割性能，解决了传统双分支方法中计算开销高和推理速度慢的问题，实现了新一代的状态SOTA结果。
创新点：
-
SCTNet 引入了一种创新的单分支架构，能够在不增加推理计算成本的情况下提取高质量的长程语境信息。
-
提出了 CF-Block 和语义信息对齐模块，帮助 SCTNet 在训练过程中从 transformer 分支捕获丰富的语义信息。
-
通过将 GFA 中的矩阵乘法替换为逐像素卷积操作，保留了特征图的空间结构，同时降低了推理延迟。
TractGraphFormer: Anatomically Informed Hybrid Graph CNN-Transformer Network for Classification from Diffusion MRI Tractography
方法：
论文提出了一种名为TractGraphFormer的混合模型，将Graph CNN与Transformer结合，通过整合局部解剖信息和全局特征依赖性提升基于扩散MRI纤维束成像的性别预测性能，通过改进网络结构和实验验证，显著提升了分类性能。
创新点：
-
TractGraphFormer框架结合了Graph CNN和Transformer架构，首次在扩散MRI束流追踪中同时捕获局部解剖关系和全局特征依赖。
-
提出了一个注意力模块，以解释性别预测任务中的预测性束流。
-
引入了一个新的组合图，综合考虑了白质（WM）和灰质（GM）信息。
扫码添加小享，
回复“
卷结合思路
”
免费获取
全部论文+开源代码
WiTUnet: A U-shaped architecture integrating CNN and Transformer for improved feature alignment and local information fusion
方法：
论文提出了一个结合卷积神经网络和Transformer的新型网络架构WiTUnet，用于低剂量计算机断层扫描图像的去噪。WiTUnet通过嵌套密集的跳跃路径和窗口化的Transformer结构，改善特征对齐和局部信息融合，显著提升了LDCT图像的去噪效果和图像质量。
创新点：
-
WiTUnet通过引入窗口注意力机制和LiPe模块，实现了在保持低计算开销的同时，显著提升去噪性能。
-
通过使用局部增强窗口（LeWin）Transformer模块，WiTUnet有效减少了高分辨率特征图中的计算需求，同时在U-net架构中成功应用，提升了图像重建的效果。
-
WiTUnet通过调整特征通道数量（C值），找到了计算效率与去噪效果之间的最佳平衡。
