专栏名称: 计算机视觉工坊

专注于计算机视觉、VSLAM、目标检测、语义分割、自动驾驶、深度学习、AI芯片、产品落地等技术干货及前沿paper分享。这是一个由多个大厂算法研究人员和知名高校博士创立的平台，我们坚持工坊精神，做最有价值的事~

重磅开源 | SA-GS: 语义群指导高斯形状与数量，大场景几何重建先驱!

计算机视觉工坊 · 公众号 · · 2024-06-12 11:00

正文

本次分享我们邀请到了香港中文大学深圳未来智联网研究所研究员 熊步天 ，为大家详细介绍他们的工作：SA-GS.如果您有相关工作需要分享，欢迎文末联系我们！

SA-GS: Semantic-Aware Gaussian Splatting for Large Scene Reconstruction with Geometry Constrain
项目网站 ： https://saliteta.github.io/SA-GS-public/
项目主页 ： https://saliteta.github.io/SA-GS-public/
开源代码 ： https://github.com/saliteta/SA-GS-CODE
实验室主页 ： https://mypage.cuhk.edu.cn/academics/lizhen/

直播信息

时间

2024年6月12日(周三)晚上20：00

主题

SA-GS: 语义群指导高斯形状与数量，大场景几何重建先驱

直播平台

3D视觉工坊哔哩哔哩

扫码观看直播，或前往B站搜索3D视觉工坊观看直播

3DCV视频号 也将同步直播

嘉宾介绍

熊步天

香港中文大学深圳未来智联网研究所研究员。研究方向为多视角三维重建，理解，互动
个人主页 ： saliteta.github.io

直播大纲

几何重建的问题描述和好用的dataset
以几何重建为核心的算法回顾和常见问题以SuGaR和2DGS为例
为什么语义信息能够帮助几何重建，SA-GS算法简介
未来几何重建有什么挑战，还有什么方向值得深挖

参与方式

摘要

我们提出SA-GS：Semantic Aware Gaussian Spalts这个方法，能够根据语义信息的指导，生成几何更好的场景。我们认为一些语义特征实际上表征了一些特殊的几何特征。我们通过frequency domain analysis解释了，通过一个语义群的边缘含量，可以指导语义群内高斯的形状。进一步指导高斯的数量。我们继续提出了一种Hierachical Distribution Sampling Strategy 这个方法能够快速的生成点云，同时巧妙的规避光影带来的误差。我们的方法在超过8.5平方公里的数据上进行测试，得到了不错的结果，优于几何为主的SOTA方法。