3DGS实时高质量大规模场景渲染最新SOTA！

论文题目：CityGaussian: Real-time High-quality Large-Scale Scene Rendering with Gaussians
作者：Yang Liu等
代码链接：https://dekuliutesla.github.io/citygs/
论文链接：https://arxiv.org/pdf/2404.01133.pdf

1 引言

这篇文章介绍了一种名为CityGaussian的方法，用于实时高质量大规模场景渲染。该方法采用3D高斯溅射(3DGS)作为场景表示，并通过分治训练策略和细节级别(LoD)策略实现了对大规模3DGS的高效训练和渲染。具体来说，该方法首先使用普通3DGS训练策略生成全局场景高斯，然后基于此全局先验采用分治策略将高斯分割成多个块进行并行训练，最后通过LoD策略根据视角距离选择不同细节级别的高斯进行渲染。实验结果显示，该方法在主流基准测试中取得了最先进的渲染质量，并显著减少了渲染不同尺度场景的时间成本。

2、CityGaussian是如何解决大规模3DGS训练和渲染问题的？

1. 分治法训练策略 ：将整个场景划分为空间相邻的小块，并对每个小块进行单独训练，使用较少的高斯和训练数据。这一方法有助于降低内存需求，并使得在常见GPU上进行训练更加可行。
2. 全局高斯先验 ：首先训练一个粗糙的全局高斯先验，为每个小块提供几何信息，从而帮助边界高斯移动到适当的位置，减少不同块之间的干扰。
3. 基于收缩空间的均匀高斯划分 ：首先将高斯收缩到一个有界的立方体区域，然后均匀划分，以实现更均匀的高斯分配。
4. 基于内容的自适应数据选择 ：仅保留与当前块相关的训练数据，以避免无关数据的干扰，并确保每个块都能得到充分训练。
5. 基于块的细节层次选择 ：通过压缩生成不同细节层次的高斯，根据块到摄像机的距离选择合适的细节层次进行渲染，减少渲染负担。
6. 基于块的包围盒估计和交点检测 ：避免了需要逐点计算每个高斯到摄像机的距离，从而降低了计算开销。
7. 直接拼接融合不同细节层次 ：通过直接拼接不同细节层次的高斯，实现了平滑的过渡。

总的来说，CityGaussian通过分治法训练、全局先验、自适应数据选择、基于块的LoD等方法，有效地解决了大规模3DGS训练和渲染的难题，实现了实时的高质量大规模场景渲染。

3、CityGaussian的LoD策略实现不同细节层次渲染的关键步骤如下：

1. 细节层次生成 ：首先通过压缩训练好的高斯，生成不同细节层次的高斯。压缩率越大，细节层次越低。
2. 距离区间设定 ：为不同细节层次设定距离区间。例如，最精细的细节层次用于最近距离，最粗糙的细节层次用于最远距离。
3. 基于块的距离判断 ：通过计算每个块到摄像机的最小距离，决定渲染时使用的细节层次。这一方法取代了逐点计算每个高斯到摄像机的距离。
4. 包围盒估计和交点检测 ：为每个块估计包围盒，然后计算包围盒与视锥体的交点。只有交点为正的块才被送入渲染管线。
5. 不同层次高斯的融合 ：使用相同细节层次的高斯进行渲染，然后直接拼接不同细节层次的高斯渲染结果。由于压缩保持了高斯的位置，因此融合效果非常平滑。
6. 动态调整距离区间 ：根据渲染速度和质量需求，动态调整距离区间和压缩率，以实现实时和高质量的渲染效果。

通过基于块的距离判断、包围盒检测、动态调整距离区间等方法，CityGaussian实现了高效和高质量的不同细节层次渲染。

4、实验结果

比较结果 ：CityGaussian在四个真实场景数据集上与SOTA方法进行比较，结果显示CityGaussian具有更好的重建质量，同时保持了较高的渲染速度。

细节层次评估 ：在MatrixCity数据集上评估了CityGaussian的LoD策略，结果表明该策略在速度和效果之间实现了良好的平衡。

参数敏感性分析 ：分析了分治训练策略和LoD策略中关键超参数的影响，结果显示参数设置对效果有重要影响。

场景操作 ：展示了CityGaussian可进行灵活的场景编辑和操纵，这是其基于显式高斯表示的优势。

表1：四个大型场景数据集的定量比较。

表2：LoD验证

表3：消融实验

表4：LoD策略消融实验

5、结论

本文介绍了CityGaussian方法，通过分治法训练和基于块的细节级别(LoD)策略，实现了实时高质量的大规模场景渲染。CityGaussian通过全局先验的生成，避免了块间干扰，提高了重建质量。LoD策略则减少了不必要的计算开销，实现了不同尺度下的实时渲染。实验结果表明，CityGaussian优于NeRF基线方法，取得了最先进的渲染质量。该方法为实时和交互式大规模场景渲染提供了一个高效且高质量的解决方案。

本文仅做学术分享，如有侵权，请联系删文。

在这里给大家推荐3D视觉工坊联合Gigi主讲老师推出的新课《 基于NeRF/Gaussian三维重建的全新SLAM算法 》

主讲人介绍

课程大纲