专栏名称: 计算机视觉工坊

专注于计算机视觉、VSLAM、目标检测、语义分割、自动驾驶、深度学习、AI芯片、产品落地等技术干货及前沿paper分享。这是一个由多个大厂算法研究人员和知名高校博士创立的平台，我们坚持工坊精神，做最有价值的事~

今晚开播 | 基于实例级建模的3D场景占用预测新SOTA!

计算机视觉工坊 · 公众号 · · 2024-06-13 11:00

正文

本次分享我们邀请到了华中科技大学人工智能研究所在读博士 蒋浩懿 ，为大家详细介绍他们的工作：Symphonies.如果您有相关工作需要分享，欢迎文末联系我们

Symphonize 3D Semantic Scene Completion with Contextual Instance Queries
论文链接 ： https://arxiv.org/pdf/2306.15670
代码链接 ： https://github.com/hustvl/Symphonies

直播信息

时间

2024年6月13日(周四)晚上20：00

主题

CVPR'24|Symphonies：基于实例级建模的3D场景占用预测新SOTA!

直播平台

3D视觉工坊哔哩哔哩

扫码观看直播，或前往B站搜索3D视觉工坊观看直播

3DCV视频号 也将同步直播

嘉宾介绍

蒋浩懿

华中科技大学人工智能研究所在读博士，研究方向为视觉感知、3D场景理解、自动驾驶。担任TPAMI, TIP, NeurIPS, CVPR, ICCV, ECCV, ICLR, ICML, ICRA等学术期刊及会议审稿人。

直播大纲

3D 语义场景补全/场景占用预测现有方法简介
Symphonies 论文详解
讨论交流

参与方式

DEMO

摘要

三维语义场景补全（3D Semantic Scene Completion，SSC）是自动驾驶领域中一个新兴且关键的研究方向，致力于重建三维场景中每个体素网格的占用情况及语义类别。尽管现有方法在体素级建模上取得了显著进展，但它们往往忽视了实例语义和场景上下文信息的作用。本研究提出了Symphonies（Scene-from-Insts）方法，探索利用实例查询来引导三维场景的建模过程。Symphonies通过序列实例传播注意力机制，能够自适应地编码以实例为中心的语义，以促进图像和场景体特征之间的交互。此外，通过高效的实例查询融合，Symphonies实现了对全局场景上下文的理解，有效解决了遮挡和透视失真引起的几何模糊问题。实验结果表明，Symphonies在SemanticKITTI和SSCBench-KITTI-360基准上实现了最先进的性能，分别获得了15.04和18.58的mIoU指标。这些成果展示了该范式在三维场景理解领域的前景。