融合创新！全局特征+局部特征，性能优于Transformer

在图像处理领域， 全局特征和局部特征融合 是一种常见且十分高效的策略，用于提高图像分析和识别任务的性能。

• 全局特征反映了图像的整体属性，如颜色分布、形状轮廓等，它们通常对图像的尺度和旋转具有不变性。
• 局部特征关注于图像中特定关键点或区域的特性，如角点或边缘，这些特征有助于识别图像中的特定对象和细节。

这种融合策略综合利用了不同特征之间的优势互补，可以 提高系统的鲁棒性、提升处理效率及实际应用中提高图像检索的准确率 ，是CV领域值得深入研究的重要方向。

本次分享 全局特征+局部特征 10种 融合创新方案 ，有最新的也有经典的，可借鉴的方法和创新点我做了简单介绍，原文以及相应代码都整理了，方便同学们学习。

扫码 添加小享，回复“ 融合10种 ”
免费获取 全部 论 文+开源代码

InterFormer: Interactive Local and Global Features Fusion for Automatic Speech Recognition

方法： 本文提出了一种用于自动语音识别（ASR）的高效双并行分支编码器InterFormer。在InterFormer中，作者利用卷积分支提取局部特征，利用Transformer分支捕捉全局表示。在Aishell-1数据集上性能优于Conformer和Transformer模型。

创新点：

• 本文提出了InterFormer作为一种交互式本地和全局特征融合的方法，以学习更好的ASR表示。InterFormer采用了平行设计，结合了卷积块和Transformer块。此外，还提出了双向特征交互模块（BFIM）和选择性融合模块（SFM）来实现本地和全局特征的交互和融合。
• SFM方法能够动态地融合卷积和Transformer分支的特征，并有效地结合来自双分支的信息，以权衡每个分支在不同层中的重要性。

PointCore: Efficient Unsupervised Point Cloud Anomaly Detector Using Local-Global Features

方法： 本文提出了一种基于联合局部全局特征的无监督点云异常检测框架，称为PointCore。PointCore只需要一个内存库来存储局部全局表示，并为这些局部全局特征分配不同的优先级，以减少推理过程中的计算复杂度和特征不匹配的干扰。

创新点：

• 全局和局部配准：
• 作者使用FPFH特征描述符和RANSAC算法实现了点云的全局配准，并引入了点-平面ICP算法来局部优化全局配准的结果。
• 这种方法提高了点云配准的稳定性，并通过最小二乘问题的最小二乘方法解决了配准的损失函数。
• 内存库构建：
• 作者提出了一种贪婪的下采样算法来对点云进行采样。
• 通过构建内存库，将局部（坐标）和全局（PointMAE）表示存储在单个内存库中，降低了计算复杂度和特征不匹配的干扰。
• 引入了基于排名的归一化方法，可以将不同尺度的值调整到一个概念上的公共尺度，并将密集分布的数据转化为均匀分布，以提高鲁棒性。

扫码 添加小享，回复“ 融合10种 ”
免费获取 全部 论 文+开源代码

Unifying Local and Global Multimodal Features for Place Recognition in Aliased and Low-Texture Environments

方法： 论文开发了一种新的地点识别模型UMF，该模型通过融合视觉和LiDAR数据的局部和全局特征，并基于单模态局部特征进行重新排序，以提高Simultaneous Localization and Mapping (SLAM)系统的可靠性和性能。

创新点：

• 引入Super-Features
• Super-Features 是一种中级场景表示方法，在地点识别任务中表现出色。
• 通过对Super-Features进行对比学习，通过Transformer层传递局部特征来训练Local Super-features Integration Transformer (LIT)。
• Super-Features的构建包括一个迭代的注意力模块，可以生成一个集合，其中每个元素都关注于一个局部和具有辨识度的图像模式。
• 引入自注意力和交叉注意力
• 在UMF模型中，引入自注意力和交叉注意力机制，以增强模型对输入数据不同部分的动态关注能力。
• 自注意力层使模型能够对单个模态（F Vision或F LiDAR）内的特征分配不同的重要性权重，从而捕捉局部和全局上下文中的模式。
• 交叉注意力层将两个模态（F Vision和F LiDAR）的特征作为输入，从而使模型能够捕捉两个模态之间的相关模式，从而学习更丰富的场景表示。