0. 论文信息
标题：GP-GS: Gaussian Processes for Enhanced Gaussian Splatting
作者：Zhihao Guo, Jingxuan Su, Shenglin Wang, Jinlong Fan, Jing Zhang, Liangxiu Han, Peng Wang
机构：Manchester Metropolitan University、Peking University、Pengcheng Laboratory、Hangzhou Dianzi University、Wuhan University
原文链接：https://arxiv.org/abs/2502.02283
1. 导读
三维高斯拼接是一种高效的真实感视图合成新方法。然而，它对稀疏运动结构(SfM)点云的依赖始终损害了场景重建质量。为了解决这些局限性，提出了一种新的三维重建框架高斯过程高斯分布(GP-GS ),其中开发了一种多输出高斯过程模型来实现稀疏SfM点云的自适应和不确定性导向的致密化。具体而言，我们提出了一种动态采样和过滤管道，通过利用基于GP的预测从输入2D像素和深度图中推断新的候选点，来自适应地扩展SfM点云。管道利用不确定性估计来指导高方差预测的修剪，确保几何一致性，并实现密集点云的生成。加密的点云提供了高质量的初始3D高斯分布以增强重建性能。在不同规模的合成和真实数据集上进行的大量实验验证了该框架的有效性和实用性。
2. 效果展示
点云密集化和改进渲染结果的示意图。(a)传统的SfM只能产生稀疏的点云，无法很好地捕捉丰富的场景细节。我们的多输出高斯过程模型通过在各个数据集上密集稀疏点云来解决这个问题，在预测的置信区间内实现了71%(由R2分数表示)的位置和颜色准确性。(b)与3DGS的渲染图像对比。GP-GS极大地提高了染质量，特别是在复杂的区域，如密集的植被或在具有挑战性的光照条件下。
在3DGS训练过程中3D高斯函数的定性比较。左列显示地面真实图像。中列显示来自3DGS*的3D高斯函数，而右列显示使用我们的MOGP生成的3D高斯函数。
3. 主要贡献
我们的贡献可以总结为:
1)高斯过程用于点云密集化:我们提出了一种MOGP模型，通过学习从2D图像像素和深度信息到3D位置和颜色的映射，以及不确定性意识，来密集稀疏的SfM点云。
推荐课程：
实时400FPS！高精NeRF/Gaussian SLAM定位与建图
。
2)自适应采样和不确定性引导滤波:我们引入了一种自适应的基于邻域的采样策略，为MOGP生成3D点预测的候选输入，然后进行基于方差的滤波，以去除高不确定性的预测，确保几何一致性并提高渲染质量。
3)我们的GP-GS框架可以无缝集成到现有基于SfM的管道中，使其成为一个灵活的即插即用模块，可以提高其他NVS模型的渲染质量。
4. 方法
本文提出了一种新的框架GP-GS，用于增强3D高斯初始化，从而提高3DGS的渲染质量。GP-GS的概述如图2所示。首先，为了解决稀疏SfM点云的局限性，我们提出了MOGP模型，将点云密集化为回归口题。接下来，我们自适应地密集稀疏的SfM点云，并提出了一种基于不确定性的滤波策略，以去除高不确定性预测。
5. 实验结果
6. 总结 & 未来工作
我们提出了GP-GS，这是一种新颖的框架，它通过解决稀疏结构从运动恢复（SfM）重建的局限性，增强了三维结构从运动恢复（3DGS）的初始化并提高了渲染质量。我们的方法利用多输出高斯过程（MOGP）将点云加密表述为一个连续回归问题，通过学习从二维图像像素和深度先验到三维位置和颜色的映射，自适应地对稀疏SfM点云进行加密。我们引入了一种基于自适应邻域的采样策略以实现结构化加密，并应用基于方差的滤波来去除高不确定性预测。在合成数据集和真实世界数据集上的实验表明，GP-GS显著提高了三维重建质量，特别是在密集排列或照明条件具有挑战性的场景中。未来的工作将包括整合动态场景的时间信息，以及扩展至更大规模的环境。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
本文仅做学术分享，如有侵权，请联系删文。
3D视觉交流群，成立啦！
目前我们已经建立了3D视觉方向多个社群，包括
2D计算机视觉
、
最前沿
、
工业3D视觉
、
SLAM
、
自动驾驶
、
三维重建
、
无人机
等方向，细分群包括：
工业3D视觉
：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM
：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶
：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
三维重建
：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等。
无人机
：四旋翼建模、无人机飞控等
2D计算机视觉
：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
最前沿
：具身智能、大模型、Mamba、扩散模型、图像/视频生成等
除了这些，还有
求职
、
硬件选型
、
视觉产品落地、产品、行业新闻
等交流群
添加小助理: cv3d001，备注：
研究方向+学校/公司+昵称
（如
3D点云+清华+小草莓
）, 拉你入群。
▲长按扫码添加助理：cv3d001
3D视觉工坊知识星球
「3D视觉从入门到精通」知识星球
(
点开有惊喜
)
，已沉淀6年，星球内资料包括：
秘制视频课程近20门
（包括
结构光三维重建、相机标定、SLAM、深度估计、3D目标检测、3DGS顶会带读课程、三维点云
等）、
项目对接
