SAM+无监督学习！能发顶会的高端局组合！idea效果绝佳

学过SAM的朋友都知道，SAM需要对训练数据进行全面的手动标记，每张图像都要超过20分钟...效率有待提升。那么如何解决这个短板？我们考虑 SAM+无监督学习 。

这是因为无监督学习具有无需人工标注数据的特点，通过将两者结合，我们就可以在资源有限或标注成本较高的情况下，更有效地处理数据，同时不损失性能。

因此在很多领域，特别是医学图像分割等， 这种高效、灵活又强大的数据处理和模式识别方法是我们的首选，自然也成了研究热点 ，相关成果效果绝佳，比如开创数据零标注时代先河的UnSAM，以及CVPR 2024的UnSAMFlow。

除此以外，还有一些很值得学习的 无监督学习+SAM新方法 ，我从中挑选了 9篇 ，简单提炼了可参考的创新点，希望可以给同学们提供论文灵感。

扫码添加小享， 回复“ 无监督SAM ”

免费获取 全部论文+开源代码

Segment Anything without Supervision

方法： 本文介绍了一种名为UnSAM的无监督学习方法，能够在没有监督的情况下进行交互和整图分割。UnSAM采用了一种分而治之的策略来“发现”视觉场景的层次结构，利用自上而下的聚类方法将未标记的图像分割成实例/语义级别的区域，然后使用自下而上的聚类方法迭代地将像素合并成更大的组，形成层次结构。

创新点：

• UnSAM：一种无监督学习方法，能够进行交互式和整图分割，无需监督。
• UnSAM+：通过将无监督分割的结果与有监督分割的结果相结合，提高了有监督模型SAM的性能。
• UnSAM通过一种分割策略，从原始未标记的图像中直接生成层次化的图像分割结果，实现了细粒度和多粒度的分割掩码，比以前的方法在无监督分割方面取得了显著的性能提升。

UnSAMFlow: Unsupervised Optical Flow Guided by Segment Anything Model

方法： 本文提出了一种名为UnSAMFlow的无监督光流网络，结合SAM的目标信息，通过语义增强、单应性平滑损失和掩码特征模块等创新调整，显著提升在KITTI和Sintel数据集上的性能，实现了无监督方法的最新成果，同时展示出跨领域的良好泛化能力。

创新点：

• 提出了一种基于单应性的区域平滑损失，解决了传统边界感知平滑损失的局限性。
• 通过使用单应性平滑损失，生成非局部梯度，强制区域内的流动一致性，大大提升了训练优化的效果。
• 利用SAM的输出进行自监督语义增强，有效提升了无监督光流网络的表现。
• 通过引入掩码特征模块，聚合对象级特征，提高了光流估计的鲁棒性和清晰度。

扫码添加小享， 回复“ 无监督SAM ”

免费获取 全部论文+开源代码

Zero-Shot Edge Detection with SCESAME: Spectral Clustering-based Ensemble for Segment Anything Model Estimation

方法： 论文提出了一种基于无监督学习方法和SAM的边缘检测技术，通过消除小噪声掩码、结合光谱聚类合并掩码以及去除边界伪影，解决了AMG边缘过度检测的问题。

创新点：

• SCESAME通过结合谱聚类技术，优化了Segment Anything Model (SAM)在自动掩膜生成(AMG)中的应用，解决了过度检测问题。
• 引入边界零填充（BZP）策略，专门用于消除由于掩膜边界而引起的边界伪影。该步骤在边缘检测后处理阶段，通过将图像边界附近的像素填充为零，显著提高了检测精度。

A SAM-guided Two-stream Lightweight Model for Anomaly Detection