CLIP当RNN用入选CVPR：无需训练即可分割无数概念｜牛津大学&谷歌研究院

点击下方 卡片 ，关注 「计算机视觉工坊」 公众号
选择 星标 ，干货第一时间送达

转自：量子位 | 编辑：计算机视觉工坊

添加小助理：dddvision，备注：方向+学校/公司+昵称，拉你入群。文末附行业细分群

扫描下方二维码，加入 3D视觉知识星球 ，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料： 近20门视频课程（星球成员免费学习） 、 最新顶会论文 、 计算机视觉书籍 、 优质3D视觉算法源码 等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

循环调用CLIP，无需额外训练就有效分割无数概念。

包括电影动漫人物，地标，品牌，和普通类别在内的任意短语。

牛津大学与谷歌研究院联合团队 的这项新成果，已被 CVPR 2024 接收，并开源了代码。

团队提出名为 CLIP as RNN （简称CaR） 的新技术，解决了开放词汇量图像分割领域中的几个关键问题：

1. 无需训练数据：传统方法需要大量的掩膜注释或图像-文本数据集进行微调，CaR技术则无需任何额外的训练数据即可工作。

2. 开放词汇量的限制：预训练的视觉-语言模型（VLMs）在经过微调后，其处理开放词汇量的能力受到限制。CaR技术保留了VLMs的广泛词汇空间。

3. 对非图像中概念的文本查询处理：在没有微调的情况下，VLMs难以对图像中不存在的概念进行准确分割，CaR通过迭代过程逐步优化，提高了分割质量。

受RNN启发，循环调用CLIP

要理解CaR的原理，需要先回顾一下循环神经网络RNN。

RNN引入了隐状态 (hidden state) 的概念，就像是一个”记忆体”，存储了过去时间步的信息。而且每个时间步共享同一组权重，可以很好地建模序列数据。

受RNN启发，CaR也设计成循环的框架，由两部分组成：

• 掩膜提议生成器： 借助CLIP为每个文本查询生成一个mask。

• 掩膜分类器： 再用一个CLIP模型，评估生成的每个mask和对应的文本查询的匹配度。如果匹配度低，就把那个文本查询剔除掉。

就这样 反复迭代下去，文本查询会越来越精准，mask的质量也会越来越高 。

最后当查询集合不再变化，就可以输出最终的分割结果了。

之所以要设计这个递归框架，是为了 最大限度地保留CLIP预训练的”知识” 。

CLIP预训练中见过的概念可是海量，涵盖了从名人、地标到动漫角色等方方面面。如果在分割数据集上微调，词汇量势必会大幅缩水。

例如“分割一切”SAM模型就只能认出一瓶可口可乐，百事可乐是一瓶也不认了。

但是直接拿CLIP做分割，效果又不尽如人意。

这是因为CLIP的预训练目标本来就不是为密集预测设计的。尤其是当图像中不存在某些文本查询时，CLIP很容易生成一些错误的mask。

CaR巧妙地通过RNN式的迭代来解决这个问题。通过反复评估、筛选查询，同时完善mask，最终实现了高质量的开放词汇分割。

最后再来跟随团队的解读，了解一下CaR框架的细节。

CaR技术细节

1. 循环神经网络框架：CaR采用了一个新颖的循环框架，通过迭代过程不断优化文本查询与图像之间的对应关系。

2. 两阶段分割器：由掩膜提议生成器和掩膜分类器组成，均基于预训练的CLIP模型构建，且权重在迭代过程中保持不变。

3. 掩膜提议生成：使用gradCAM技术，基于图像和文本特征的相似度得分来生成掩膜提议。

4. 视觉提示：应用如红圈、背景模糊等视觉提示，以增强模型对图像特定区域的关注。

5. 阈值函数：通过设置相似度阈值，筛选出与文本查询对齐程度高的掩膜提议。

6. 后处理：使用密集条件随机场（CRF）和可选的SAM模型进行掩膜细化。

通过这些技术手段，CaR技术在多个标准数据集上实现了显著的性能提升，超越了传统的零样本学习方法，并在与进行了大量数据微调的模型相比时也展现出了竞争力。如下表所示，尽管完全无需额外训练及微调，CaR在零样本语义分割的8个不同指标上表现出比之前在额外数据上进行微调过的方法更强的性能。

作者还测试了CaR在零样本Refering segmentation的效果，CaR也表现出了相较之前零样本的方法表现出更强的性能。

综上所述，CaR（CLIP as RNN）是一种创新的循环神经网络框架，能够在无需额外训练数据的情况下，有效地进行零样本语义和指代图像分割任务。它通过保留预训练视觉-语言模型的广泛词汇空间，并利用迭代过程不断优化文本查询与掩膜提议的对齐度，显著提升了分割质量。

CaR的优势在于其无需微调、处理复杂文本查询的能力和对视频领域的扩展性，为开放词汇量图像分割领域带来了突破性进展。

论文链接：
https://arxiv.org/abs/2312.07661
项目主页：
https://torrvision.com/clip_as_rnn/

本文仅做学术分享，如有侵权，请联系删文。

计算机视觉工坊交流群

目前我们已经建立了3D视觉方向多个社群，包括 2D计算机视觉 、 大模型 、 工业3D视觉 、 SLAM 、 自动驾驶 、 三维重建 、 无人机 等方向，细分群包括：

2D计算机视觉： 图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

大模型： NLP、CV、ASR、生成对抗大模型、强化学习大模型、对话大模型等

工业3D视觉： 相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM ： 视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶： 深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、BEV感知、Occupancy、目标跟踪、端到端自动驾驶等。

三维重建： 3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机： 四旋翼建模、无人机飞控等

除了这些，还有 求职 、 硬件选型 、 视觉产品落地 、 最新论文 、 3D视觉最新产品 、 3D视觉行业新闻 等交流群

添加小助理: dddvision，备注： 研究方向+学校/公司+昵称 （如3D点云+清华+小草莓） , 拉你入群。

3D视觉学习知识星球

3D视觉从入门到精通知识星球、国内成立最早、6000+成员交流学习。包括： 星球视频课程近20门（价值超6000） 、 项目对接 、 3D视觉学习路线总结 、 最新顶会论文&代码 、 3D视觉行业最新模组 、 3D视觉优质源码汇总 、 书籍推荐 、 编程基础&学习工具 、 实战项目 &作业 、 求职招聘&面经&面试题 等等。欢迎加入3D视觉从入门到精通知识星球，一起学习进步。