0. 论文信息
标题：3DGS-to-PC: Convert a 3D Gaussian Splatting Scene into a Dense Point Cloud or Mesh
作者：Lewis A G Stuart, Michael P Pound
机构：University of Nottingham
原文链接：https://arxiv.org/abs/2501.07478
代码链接：https://github.com/lewis-stuart-11/3dgs-to-pc
1. 导读
3D Gaussian Splatting (3DGS)擅长于生成高度详细的3D重建，但这些场景通常需要专业的渲染器来实现有效的可视化。相比之下，点云是一种广泛使用的3D表示形式，与大多数流行的3D处理软件兼容，但将3ds场景转换为点云是一项复杂的挑战。在这项工作中，我们介绍了3DGS-to-PC，这是一个灵活且高度可定制的框架，能够将3DGS场景转换为密集、高精度的点云。我们从每个高斯样本中随机抽取点作为3D密度函数。此外，我们使用到高斯中心的Mahalanobis距离来阈值化新点，以防止极端异常值。结果是一个点云，它近似地表示了编码到3D高斯场景中的形状。单个高斯函数使用球谐函数根据视图调整颜色，每个点可能只对最终渲染的场景有细微的颜色暗示。为了避免不符合最终点云的虚假或不正确的颜色，我们通过定制的图像渲染方法重新计算高斯颜色，为每个高斯分配其在所有视图中贡献最大的像素颜色。3DGS-to-PC还支持通过泊松表面重建生成网格，应用于从预测表面高斯采样的点。这允许从3DGS场景中生成彩色网格，而无需重新训练。这个包是高度可定制的，并且能够简单地集成到现有的3DGS管道中。3DGS-to-PC为将3DGS数据转换为点云和基于表面的格式提供了一个强大的工具。
2. 效果展示
3DGS-to-PC如何从Mip-NeRF 360转换自行车场景的展示数据集从三维高斯抛物到密集点云。
四种不同的Mip-NeRF 360数据集场景的3DGS、点云和网格表示之间的比较。点云和网格是使用 3DGS-to-PC在默认参数上生成的，。自行车场景有一个限界框，每个维度为-5到5，仅在网格上实现，以提高图像中自行车的视觉清晰度。3DGS图像使用官方的3D高斯扫描SIBR交互式查看器渲染，而点云和网格图像则从CloudCompare查看器生成。
推荐课程：
实时400FPS！高精NeRF/Gaussian SLAM定位与建图
。
3. 引言
三维高斯溅射（3DGS）是近期流行的一种视图合成方法。该方法能够从二维图像及其关联的相机姿态生成高质量的三维表示。然而，为了显示三维场景，这些表示的可视化需要专门的高斯渲染器。相比之下，点云是一种成熟的三维表示方法，其中场景中的物体被编码为一系列离散点，通常还会附带颜色信息。点云已成为许多三维流程中的常见组成部分，例如，作为生成完整网格表示的一个步骤，作为深度学习框架的输入，或用于科学测量。此外，点云与众多成熟的三维处理软件兼容。尽管如此，3DGS相较于传统点云具有几个显著优势。这包括三维形状的更准确表示，高斯分布包含三维尺寸和旋转信息，以及能够渲染出细节更丰富的场景。虽然三维高斯场景可以加载到点云软件中，如CloudCompare，但仅利用了每个高斯分布的中心，忽略了如旋转和缩放等几何属性，这些属性对于有效表示场景区域至关重要。结果是，导出的点云比预期更稀疏，且对底层场景物体形状的表示准确性较低。
存在能够将3DGS场景转换为网格的软件包，然后可以再将网格转换为点云。然而，这些方法通常仅关注在训练过程中生成表面网格，而不是提供一种在训练后将整个场景进行转换的机制。为了弥补这一空白，我们引入了3DGS-to-PC框架，该框架旨在将三维高斯场景转换为密集点云。该框架接受.ply或.splat文件格式的3DGS数据，以及.json或COLMAP[13, 14]项目格式的相机姿态。用户可以指定生成的点数，并有多种附加自定义选项来控制点采样。该过程根据每个高斯分布的大小，在整个场景中概率性和均匀性地采样点。场景渲染同时用于根据每个输出点对合成图像的贡献来为其着色，而不是根据其采样自的高斯分布的原始颜色来着色。最终输出的是一个彩色点云，以.ply文件存储，该点云准确反映了原始的高斯场景，并且与成熟的点云处理工具完全兼容。
4. 主要贡献
在本技术报告中，我们提供了3DGS-to-PC中采用的方法的详细信息，具体包括：
渲染新点颜色的过程，以纠正直接从每个高斯颜色采样导致的颜色错误问题。
在三维高斯场景中优化点采样。
我们将高斯表面转换为基本网格表示的方法。
5. 方法
演示如何根据场景中的渲染颜色确定高斯颜色。该场景由一组高斯组成，构成一个黄色物体的表面，以及一个单独的灰色背景表面。显示了每个高斯的透明度(alpha)值。图示的左侧演示了像素颜色渲染，其中遮挡的高斯(例如绿色和红色)共同贡献最终像素颜色，尽管单独这些颜色与环境不匹配。右侧显示了更新过程，其中每个高斯颜色的调整都是为了匹配它贡献最多的像素。例如，绿色高斯被更新为反映黄色像素，而不是灰色像素，因为灰色高斯是不透明的。在实践中，这个过程涉及的相机和像素数量比简化图中所示的要多。
用渲染的颜色演示高斯点生成。每个高斯生成的点数由其体积决定，如图左所示。高斯中心和生成点之间的距离超过2个标准差的点被移除并重新生成，如图右侧所示。这个迭代过程确保最终的点云准确地代表场景，每个高斯点的点数与其体积成正比。
6. 总结 & 未来工作
在本研究中，我们提出了3DGS-to-PC框架，该框架能够从3DGS（三维几何形状）场景中稳健地生成高质量的点云表示。我们的方法通过分析高斯分量对渲染图像中像素颜色的贡献，有效地计算出高斯颜色，从而确保生成的点云中颜色表示的准确性。点的分布与每个高斯分量的体积成正比。利用马氏距离识别出的离群点将被移除并重新生成，以确保3DGS场景的真实表示。该框架还支持通过泊松表面重建生成网格，该方法应用于从预测的表面高斯分量中采样的点。
该框架具有高度的可定制性，提供了降噪、点云密度控制和高斯滤波等选项。此外，由于大部分软件包与原始的3DGS实现共享，因此该框架可以集成到3DGS流水线中。未来的开发工作将侧重于减少渲染时间，并避免在渲染新图像时依赖预先存在的相机姿态。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
本文仅做学术分享，如有侵权，请联系删文。
3D视觉交流群，成立啦！
目前我们已经建立了3D视觉方向多个社群，包括
2D计算机视觉
、
最前沿
、
工业3D视觉
、
SLAM
、
自动驾驶
、
三维重建
、
无人机
等方向，细分群包括：
工业3D视觉
：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM
：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶
：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
三维重建
：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等。
无人机
：四旋翼建模、无人机飞控等
2D计算机视觉
：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
最前沿
：具身智能、大模型、Mamba、扩散模型、图像/视频生成等
除了这些，还有
求职
、
硬件选型
、
视觉产品落地、产品、行业新闻
等交流群
添加小助理: cv3d001，备注：
研究方向+学校/公司+昵称
（如
3D点云+清华+小草莓
）, 拉你入群。
▲长按扫码添加助理：cv3d001
3D视觉工坊知识星球
「3D视觉从入门到精通」知识星球
(
点开有惊喜
)
，已沉淀6年，星球内资料包括：
秘制视频课程近20门
