前沿 | 李飞飞团队新论文：通过迭代式信息传递的场景图生成

理解一个视觉场景（visual scene）不只是要理解单独的一个个物体。物体之间的关系也能提供丰富的有关这个场景的语义信息（semantic information）。在我们这项工作中，我们使用场景图（scene graphs）明确地对物体及其关系进行了建模。我们提出了一种全新的端到端模型，其可以从输入图像中生成这种结构化的场景表征（scene representation）。该模型可以使用标准 RNN 解决场景图推理问题（scene graph inference problem）以及通过消息传递（message passing）学习迭代式地提升其预测能力。我们的联合推理模型可以利用语境线索（contextual cues）来更好地预测物体及其关系。我们的实验表明我们的模型在使用 Visual Genome 数据集生成场景图和使用 NYU Depth v2 数据集推理支持关系（support relations）上的表现显著超越了之前的方法。

图 1：目标检测器通过关注单个的物体来感知一个场景。这使得即使是一个完美的检测器也会在两个语义上有明显区别的图像上得到相似的输出（第一行）。我们提出了一种场景图生成模型，其以图像作为输入，然后可以生成基于视觉的（visually-grounded）场景图（第二行右图），该场景图捕获到了图像中的物体（蓝色节点）以及它们之间配对的关系（红色节点）。