【ICLR2025】无噪声自我运动与噪声视频三维重建的可扩展基准测试与鲁棒学习

数据派THU · 公众号 · 大数据 · 2025-02-06 17:00

正文

来源：专知
本文约1000字，建议阅读5分钟
我们解决了三个核心挑战：可扩展的数据生成、全面的基准测试和模型鲁棒性的提升。

我们的目标是通过解决一个关键的局限性来重新定义鲁棒的自我运动估计和逼真的三维重建：现有模型对无噪声数据的依赖。尽管这种经过清理的数据简化了评估过程，但它们未能捕捉到现实环境中不可预测、嘈杂的复杂性。动态运动、传感器缺陷和同步误差在这些模型实际应用时会导致性能急剧下降，暴露出亟需能够应对并在现实世界噪声下表现优异的框架。为填补这一空白，我们解决了三个核心挑战：可扩展的数据生成、全面的基准测试和模型鲁棒性的提升。首先，我们提出了一种可扩展的噪声数据合成管道，生成模拟复杂运动、传感器缺陷和同步误差的多样化数据集。其次，我们利用这一管道创建了Robust-Ego3D，一个经过严格设计的基准，旨在揭示噪声引起的性能下降，突出当前基于学习的方法在自我运动精度和三维重建质量上的局限性。第三，我们提出了一种新的方法——基于对应引导的高斯溅射（CorrGS），通过将噪声观察与来自清洁三维地图的渲染RGB-D帧对齐，逐步完善内部的清洁三维表示，通过视觉对应提升几何对齐和外观恢复。通过在合成数据和真实世界数据上的广泛实验，结果表明，CorrGS在涉及快速运动和动态光照的场景中，始终优于现有的最新方法。