AddressCLIP：赋能视觉语言模型进行全市范围的图像地址定位

4.1 框架概述

我们将IAL问题作为图像和地址对之间的视觉文本对齐问题。 图。 3 描绘了我们方法的框架。 在训练过程中，图像和地址的嵌入分别由图像编码器和文本编码器提取，然后通过图像 - 地址对比度学习对齐。 引入了附加场景标题，作为补充纯文本信息的地址的补充。 场景标题与图像地址共享相同的文本编码器，并且将结果字幕嵌入和图像嵌入组合在一起以进行图像捕获对比度学习。 此外，我们采用地理位置信息作为指南，以增加地理上近距离图像特征之间的相似性，同时增加地理上远处图像特征之间的差异。 地理空间距离与图像特征相似度之间的匹配是学习得到的。 在推理过程中，与查询图像嵌入最相似的地址指示最可能的地址。

4.2 图像-文本对齐

将地址信息直接用作图像-地址对齐学习的文本提示是合理的。 然而，地址文本简单且有限。 它无法提供关于环境、地标或其他实体的上下文信息，而这些信息对于精确的地址定位至关重要。 为了减轻这些问题，我们加入了额外的描述性标题来捕捉视觉场景的细微之处，从而使模型能够更深入地理解在简单的地址标签中经常缺失的上下文元素。 通过有效地弥合视觉感知和文本表示之间的差距，这种机制能够实现更准确和上下文感知的预测。

场景描述可以通过人工标注生成，尽管这种方法准确，但成本高昂，并且不容易扩展到大型数据集。 得益于视觉语言模型的进步，我们利用预训练的视觉语言模型 [30] 来生成与图像场景对应的语言标题。 图 3 (a)的左下角显示了一些示例，其中描述可以包括特定建筑物或独特的街道标志的存在等上下文，这对于区分视觉上相似但地理位置遥远的场所非常重要。 这也使模型的学习过程与人类通常交流位置信息的方式相一致。 关于场景标题的详细分析，请参阅附录。

正式地，将从图像编码器 𝒱 ( ⋅ ) 中提取的图像特征定义为 V i = 𝒱 ( I i ) , ∀ i ∈ [ 1 , … , N ] 。 文本编码器 𝒱 ( ⋅ ) 提取地址特征 T i A = 𝒯 ( A i ) 和标题特征 T i C = 𝒯 ( C i + A i ) ，其中场景标题 C i 由视觉语言模型获得。 我们通过实验观察到，将地址信息添加到场景标题更有利于地址定位，这将在第 6.3 节中详细讨论。 注意，附加场景标题仅用于训练。 图像和地址的对齐是通过 图像-地址对比损失 和 图像-标题对比损失 学习的。

对于包含图像-文本对的 N 大小的批量，图像-地址对比损失可以写成：

其中 τ 是温度参数。 同样，图像-标题对比损失公式如下：

4.3 图像-地理匹配

一般来说，在全市范围内的场景中，地址文本在地域上可能相距甚远，但高度相似；也可能在地理位置上很接近，但却大相径庭。 这使得仅使用地址文本难以优化图像-地址对齐学习。 相反，图像的地理坐标（例如，UTM 坐标）差异显著，展现出清晰的差异和判别特性。 从流形学习的角度来看，图像嵌入表示特征空间中图像的低维表示，其分布应与图像的地理坐标一致。 我们的目标是确保在地理位置上接近的图像在特征空间中也表现出接近性，而地理位置相距较远的图像在特征空间中反映出更大的差异。 可视化结果和分析将在第 6.4 节中详细阐述。

受上述动机的启发，我们提出了一种 图像-地理匹配损失 ，根据地理坐标的空间距离来约束图像特征。 特别地，用 U i : 𝕌 𝕋 𝕄 e a s t × 𝕌 𝕋 𝕄 n o r t h , ∀ i ∈ [ 1 , … , N ] 表示与大小为 N 的批量中所有图像对应的地理坐标集。我们可以计算地理空间中空间距离矩阵 D U 的每个元素，如下所示：

其中采用了曼哈顿距离和最小-最大归一化。 相应地，图像嵌入空间中特征相似度矩阵 D V 的每个元素计算如下：

因此，图像-地理位置匹配损失以图像特征相似度矩阵 D V 作为输入，以地理空间距离矩阵 D U 作为目标进行梯度反向传播， 即
，

4.4 目标函数

我们以端到端的方式，使用图像-文本对比损失和图像-地理位置匹配损失来训练提出的AddressCLIP。 总目标函数如下：

其中 α 、 β 和 γ 是权重参数。

5.1 地址标注

我们利用谷歌地图的反向地理编码API，根据附着在图像上的GPS坐标查找管理地址。 该API返回一个地址列表，这些地址按其与GPS坐标的匹配程度排序， 例如
[ A ( 1 ) , A ( 2 ) , ⋯ , A ( R ) ] 。 然而，简单地选择 A ( 1 ) 作为地址标注通常是不精确的，因为API可能会匹配建筑物中心的GPS坐标并返回建筑物的地址。 此外，当建筑物位于交叉街道的交叉路口时，API可能会返回不明确的地址。 为了减轻这个问题，我们首先排除与建筑物匹配的地址信息（在API中标记为“ROOFTOP”位置类型）。 然后，我们选择剩余地址中出现频率最高的地址作为最终地址，并通过随机人工验证和校正来确保其准确性。 最后，我们采用引入的语义地址分区策略进行细粒度分区作为最终地址标注。

5.2 统计和可视化

我们在 表 8 中对提出的IAL数据集进行了全面的比较，并在 图 4 中可视化了它们的街道分布。 具体来说， Pitts-IAL 是使用原始Pitts-250K [46] 数据集的训练集构建的，其中10,586个位置用来自不同视角的24张图像进行标注。 这些图像-地址对根据位置以7:2:1的比例随机分为训练集、数据库集和查询集。 由于Pitts-250K的稀疏性，查询被过滤以确保它们的地址可以被训练集和数据库覆盖。 SF-IAL 是从SF-XL [7] 数据集构建的，根据覆盖区域的大小分为两个版本，即SF-IAL-Base和SF-IAL-Large。 SF-IAL-Base覆盖旧金山的右上角，包含17,067个位置，每个位置都有12张来自不同视角的图像，其大小与Pitts-IAL相当。 SF-IAL-Large覆盖整个旧金山，包含233,820个位置。 两个版本中的图像-地址对也根据位置以7:2:1的比例随机分为训练集、数据库集和查询集。 已将介绍的数据集发布到社区，用于研究，网址为 https://github.com/xsx1001/AddressCLIP 。

6.1 实验设置

实现细节。 我们的AddressCLIP基于OpenAI预训练的CLIP [39] 使用PyTorch实现，无需额外参数。 所有图像都被调整为224 × 224大小，并进行归一化处理以适应CLIP的输入。 除非另有说明，否则实验使用CLIP的ViT/B-16版本。 我们采用视觉语言模型BLIP [30] 生成附加场景字幕。 更多训练细节见附录。

指标。 通过计算预测地址的准确性（例如标准Top-1和Top-5准确性）来衡量地址定位性能是很直接的。 考虑到不同场景中返回地址的精确要求各不相同，我们专门设计了两个指标来评估地址定位性能， 即
， 街道级准确率 (SA) 和 街道以下级别准确率 (SSA) 。 正式地，对于给定的查询图像，模型的输出可以表示为 A p = [ S m , S c , S n ] ，其中 S m 是主要街道， S c 是与 S m 相交的街道集合， S n 是邻里。 真实地址表示为 A g t = [ S g t m , S g t c , S g t n ] 。 如果 S m = S g t m 和 S n = S g t n 成立，则预测在街道级别是正确的。 只有当 A p = A g t 满足时，它在街道子级别才是正确的。 Top-1和Top-5准确率均报告为SA-1、SA-5、SSA-1和SSA-5。

6.2 主要结果

基线。 我们将我们的方法与零样本CLIP和一个使用简单地址提示的微调CLIP模型进行了比较。 图像地址定位可以被认为是一个下游的视觉语言任务，因此可以使用提示学习方法将预训练的CLIP迁移到地址定位。 我们还与几种具有代表性的视觉语言模型提示学习方法进行了比较， 即 。
，CoOp [53] ，CoCoOp [52] 和MaPLe [29] 。

比较。 表 2 显示了在引入的Pitts-IAL、SF-IAL-Base和SF-IAL-Large数据集上与上述基线的比较结果。 很明显，我们的方法在三个数据集上各种指标的性能都非常出色。 由于在预训练期间图像文本对中缺乏明确的地址信息，零样本CLIP模型表现不佳。 使用地址微调CLIP后，所有三个数据集上的地址定位精度都显著提高，形成了一个强大的基线。