导读： 27页综述，354 篇参考文献！ 史上最详尽的视觉定位综述，内容覆盖过去十年的视觉定位发展总结，尤其对最近5年的视觉定位论文系统性回顾，内容既涵盖传统基于检测器的视觉定位，基于VLP的视觉定位，基于MLLM的视觉定位，也涵盖从全监督、无监督、弱监督、半监督、零样本、广义定位等新型设置下的视觉定位。 视觉定位任务新入门必读！跟进最新进展，视觉定位审稿人必读论文！

强烈推荐大家阅读学习！

• 论文题目：Towards Visual Grounding: A Survey
• 工作内容：视觉定位（Visual Grounding）任务十年发展系统性回顾
• 论文链接：https://arxiv.org/pdf/2412.20206
• 代码/仓库链接：https://github.com/linhuixiao/Awesome-Visual-Grounding

摘要

视觉定位（Visual Grounding）也被称为指代表达文本理解（Referring Expression Comprehension）和短语定位（Phrase Grounding）。它涉及根据给定的文本描述在图像中定位自然数量的特定区域。该任务的目标是模拟社会对话中普遍存在的指代关系，使机器具有类似人类的多模态理解能力。因此，视觉定位在各个领域有着广泛的应用。

然而，自2021年以来，视觉定位取得了重大进展，比如，基于定位的预训练、定位多模态大语言模型、广义视觉定位、多图片定位、千兆像素定位等新概念不断涌现，带来了许多新的挑战。

在本综述中，我们首先回顾了视觉定位的发展历史，并概述了基本的背景知识，包括视觉定位的基本概念和评估指标。我们系统地跟踪和总结了当前视觉定位的发展，并精心整理了各种已有的设置，并建立了这些设置的精确定义，以规范未来的研究并确保不同方法之间公平的比较。此外，我们深入讨论了几个高级话题，并强调了视觉定位的许多应用。

在数据集部分，我们编制了当前相关数据集的列表，同时在RefCOCO/+/g系列数据集上进行了公平的比较分析，并提供了最终的性能预测，以启发未来新的标准测试基准的提出。

最后，我们总结了视觉定位当前所面临的挑战，并为未来的研究提出有价值的方向，这可能为后续的研究人员提供启发。本综述通过提取常见的技术细节的方式进行叙述，进而以涵盖过去十年中每个子主题的代表性工作。

据我们所知，本文是目前视觉定位领域最全面的综述。本文不仅使适用视觉定位的入门研究者，也适用于资深的研究人员用于跟踪最新的研究进展。

综述流程

在本综述中，本文在第1章简要地回顾了视觉定位的发展历史和当前存在的问题。

在第2章中，我们将介绍背景知识，包括任务定义、评价标准和强相关的研究领域。

然后，在第3章中，我们将从任务设置的视角出发，分别从全监督、弱监督、半监督、无监督、零样本、广义视觉定位新型设置等6个方面对当前的研究进行系统性回顾，并比较了不同任务设置下基准测试的结果。特别是全监督设置，其作为主流的设置将会在第3章中进行重点介绍。

随后，我们在第4章介绍了经典的数据集和新型数据集。

最后，我们在第5章指出当前的挑战和未来的发展方向，并在第6章中进行了总结。

贡献

1. 本文是近五年来第一个系统跟踪和总结近十年视觉定位发展的综述。通过提取常见的技术细节，本综述涵盖了每个子主题中最具代表性的工作。
2. 本文根据视觉定位中出现的各种各样的设置做了系统的梳理，并对各种设置做了严格的定义，用以规范后续视觉定位的研究，以便获得公平公正的比较。
3. 本文对近些年的数据集进行了整理，并对视觉定位中五个经典的数据集进行了极限预测，以启发新的标准基准的出现。
4. 本文对当前的研究难点进行了总结，并对后续的视觉定位的研究提供了有价值的研究方向，用以启发后续研究者的思考。
5. 据我们所知，这篇综述是目前在视觉定位领域最全面的综述。作者希望本文不仅可以助力于新手入门Grounding，也希望可以帮助有一定研究基础的人对当前的研究进行梳理，使他们能够跟踪并对最新的进展保持了解。

最后，由于视觉定位领域正在迅速发展，本文可能不可能跟上所有最新的发展。作者欢迎研究人员与他们联系，与他们分享在这一领域的新发现，以便本文可跟踪最新进展。这些新的工作将被纳入修订版本并进行讨论。同时作者也会更新和维护论文的项目仓库：https://github.com/linhuixiao/Awesome-Grounding。

最新 AI 进展报道