专栏名称: 学姐带你玩AI

这里有人工智能前沿信息、算法技术交流、机器学习/深度学习经验分享、AI大赛解析、大厂大咖算法面试分享、人工智能论文技巧、AI环境工具库教程等……学姐带你玩转AI！

论文赏读 | CVPRW24 | SAM用于遥感影像中提取向量化的道路网络

学姐带你玩AI · 公众号 · · 2024-05-27 18:12

正文

RS DL

论文介绍

题目：Segment Anything Model for Road Network Graph Extraction

会议：CVPR 2024 2nd Workshop on Scene Graphs and Graph Representation Learning

论文：http://arxiv.org/abs/2403.16051

代码：https://github.com/htcr/sam_road

年份：2024

该篇由论文原作者审核

注：2024年的CVPR 遥感相关文章持续关注中，合集可见： CVPR2024合集

创新点

SAM-Road 模型：发挥了 SAM模型的能力，结合了语义分割和图神经网络。模型可以直接预测图的顶点和边，无需复杂的后处理启发式方法。
图形几何和拓扑预测：使用密集语义分割来预测图形的几何结构，并使用轻量级的基于Transformer的图神经网络来预测拓扑结构，从而实现准确和快速的预测。
效率和速度：在城市数据集上的处理速度比现有最先进的方法快 40 倍，同时不牺牲准确性，能够在几秒钟内构建跨越数平方公里的完整道路网络图。

数据

City-scale 数据集

数据集包含来自美国20个城市的180张卫星图像，其中 29张图像用于测试。每张图像2048×2048像素，分辨率为1m，覆盖较大的城市区域。
https://arxiv.org/abs/2007.09547

SpaceNet 数据集

数据集包含2549张卫星图像，其中382张图像用于测试，这些图像来自全球多个城市，如上海、拉斯维加斯等。每张图像400×400像素，分辨率为1m。
https://arxiv.org/abs/1807.01232

方法

总体结构

SAM-Road 模型采用了一种新的方法来提取和构建大规模的矢量化道路网络图。SAM-Road 模型核心结构包括：基于预训练的 Segment Anything Model (SAM) 的图像编码器，几何解码器，以及基于Transformer的拓扑解码器。

图像编码器(Image Encoder)

图像编码器基于预训练的 Segment Anything Model(SAM)，具体采用了 ViT-B 架构。这一架构适用于高分辨率图像，能够将输入的 RGB 卫星图像转换为特征映射，这些特征映射后续将用于道路和交叉点的几何及拓扑预测。在训练阶段，整个图像编码器会以较低的学习率进行微调。

几何解码器(Geometry Decoder)

几何解码器的任务是预测每个像素点的存在概率，即该点是否属于道路或交叉点。这一步骤是通过密集的语义分割来实现的，利用 SAM 的强大语义分割能力，几何解码器能够生成高质量的概率掩膜图。掩膜图中的每个像素值表示该位置存在道路的概率。然后，使用简单的非最大抑制(NMS)方法从这些概率掩膜中提取出图的顶点。

拓扑解码器(Topology Decoder)

拓扑解码器采用了基于Transformer的图神经网络架构，其主要功能是基于几何解码器提供的顶点，预测这些顶点之间是否存在连接(即图的边)。对于每个顶点，拓扑解码器考虑其周围一定半径内的邻近顶点，并基于顶点的相对位置和图像上下文预测它们之间的连接概率。这一预测是作为一个二分类问题处理的，每个顶点对的连接概率由一个 sigmoid 层输出。

标签生成和滑动窗口预测

标签生成：在训练阶段，使用地面真实的道路网络图来生成训练用的掩膜和拓扑标签。这包括将真实的道路网络渲染为掩膜图，并根据网络的连接情况生成拓扑标签。

滑动窗口预测：为了处理大区域的图像，SAM-Road 采用了滑动窗口的预测方式。模型在重叠的窗口上独立预测局部图结构，然后将这些局部预测融合成全局图。这种方法允许模型以并行方式快速处理大范围的图像，并在准确性和速度之间做出灵活的权衡。

精度

评价指标

TOPO

TOPO 是一种专为道路网络图设计的评估指标。它通过在地面真实图中随机抽样候选顶点，然后在预测图中找到对应的顶点，比较从同一顶点出发在两个图中可达的子图的相似性。这种比较关注于几何精度，并对不正确的断开(即断开本应连接的顶点)给予重罚。TOPO 主要评估的是局部图结构的相似度，通过精度(Precision)、召回率(Recall)和 F1 分数来评估。
APLS (Average Path Length Similarity)

APLS 是另一个评估道路网络图拓扑正确性的指标。它计算地面真实图中随机顶点对之间的最短路径长度与预测图中对应顶点对之间的最短路径长度的相似度。如果两个图中顶点对之间的路径长度接近，则表明拓扑正确性高。APLS 主要衡量的是图的长程拓扑和几何结构的相似性，较小的路径长度差异表示高的拓扑相似度。