SA-GS，无需训练，直接鲁棒提升3D高斯抗锯齿能力

3DCV · 公众号 · · 2024-04-01 09:53

正文

点击下方卡片，关注 「3DCV」 公众号
选择星标，干货第一时间送达

论文作者：KevinS(作者授权) | 编辑：3DCV
添加微信：dddvision，备注：3D高斯，拉你入群。文末附行业细分群

本文介绍了3DGS抗锯齿技术的最新进展——SA-GS。这是一种无需训练的高斯抗锯齿渲染技术，能够直接集成到现有的3D高斯模型中，从而鲁棒提升其在不同渲染设置下的抗锯齿能力。通过使用2D尺度自适应滤波器，实现了2D投影高斯分布在不同渲染参数下的尺度统一。在此基础上，使用积分和超采样这两种方法，解决了因采样频率不足导致的锯齿伪影。SA-GS在有界和无界场景中均能有效提升原始3D高斯的抗锯齿能力，超越或持平了目前高斯抗锯齿工作的最优性能。

论文标题：SA-GS: Scale-Adaptive Gaussian Splatting for Training-Free Anti-Aliasing
论文链接：https://arxiv.org/abs/2403.19615
代码链接：https://github.com/zsy1987/SA-GS/

一. 动机

3D高斯泼溅技术（3D Gaussian Splatting, 3DGS）由于良好的视图渲染质量、极快的渲染速度和显式表征的优势，在新颖视图合成、动态/大规模场景重建、自动驾驶仿真等领域得到了广泛的关注。然而，高斯基元在不同于训练设置的渲染参数下，会出现剧烈的视图质量下降，具体表现为低采样频率下的场景膨胀和高采样频率下的侵蚀伪影。现有的工作通过多尺度表征或者低通滤波的方式，正则约束高斯基元在3D空间/2D空间的分布，从而缓解了上述问题。

然而，这些工作都是直接以aliasing（信号频率不匹配）作为切入点，忽略了高斯基元在不同渲染设置下 尺度变化不统一的核心缺陷 ，而这导致了其无法使用NeRF类方法中的抗锯齿技术。事实上，3D高斯基元是一个连续函数，在投影转换到像素坐标系之前，其映射关系始终准确，而像素空间中的固定扩充算子（Dilation）破坏了这种映射关系的准确性。这在训练阶段并不会影响拟合，然而在渲染阶段则会因为渲染参数的变化而导致严重的尺度误差， 该误差与aliasing问题混合在一起，共同导致了3DGS在不同渲染设置下的错误表征 。基于上述观点，研究团队提出了一种新的抗锯齿方案——SA-GS。该方案利用 尺度自适应的2D滤波器 ，保证了高斯基元在像素空间分布下的尺度变化统一。在此基础上，研究团队使用 超采样和积分 两种抗锯齿技术，进一步解决了因采样频率不足导致的锯齿伪影。

SA-GS并不会影响原始3DGS的训练流程，是一种 无需训练 的抗锯齿方案。因此其可以直接集成到现有的3DGS模型中，鲁棒提升不同渲染设置下的抗锯齿能力。这也同样证明了原始3DGS具备抗锯齿的潜力，而并不需要精心设计不同的训练过程。

二. 方法

高斯光栅化过程的范式比较 ：目前所有基于3DGS的高斯抗锯齿方法都共享图中的光栅化框架。3D高斯基元通过投影映射到相机平面，进而光栅化到像素平面，最后通过alpha-blending的方式得到最终的像素颜色。然而不同的方法在不同的阶段对高斯基元进行了不同的处理：(1)3DGS在像素平面对2D高斯基元进行了固定扩充（Dilation）操作，而这导致了不同渲染设置下的尺度变化不统一。(2)目前抗锯齿领域的最优工作，Mip-Splatting，根据训练相机参数在3D空间对高斯基元进行平滑(3D Smooth Filter)，在像素平面将扩充替换为更加柔和的固定滤波(2D Mip Filter)，然而其仍然没有完全解决3DGS扩充操作的尺度问题。(3)SA-GS在像素平面使用2D尺度自适应滤波器，保证了2D高斯基元的尺度变化统一；在alpha-blending阶段使用超采样(Super Sampling)和积分(Intergration)方法解决了尺度统一基础下采样频率不足导致的锯齿伪影。

正如前文所提到，渲染阶段3DGS的尺度变化不统一与信号频率不匹配共同导致了其在不同渲染参数下视图质量的下降。在现实物理世界，无论采样频率如何改变，场景频率并不会发生变化，在NeRF类方法中自然同样如此，因此NeRF类方法可以很自然使用像积分（Mip-NeRF）或者超采样（Zip-NeRF）解决场景的锯齿问题。然而3DGS在像素空间对高斯基元的固定尺度变化，导致了场景频率实际上会随着采样频率的改变而改变，这破坏了使用上述抗锯齿方法的前提。现有的工作仅仅讨论了信号频率不匹配对渲染产生的影响，却忽略了尺度问题，然而在视图质量下降的具体例子中，场景膨胀和侵蚀伪影大部分是尺度误差所带来的。作者团队 首次将尺度变化的统一性作为重点 进行讨论，提出根据尺度变化自适应的2D滤波器，从而在不影响训练的情况下，首次将传统抗锯齿方法（超采样/积分）应用于3DGS中，获得了鲁棒的抗锯齿性能提升。

2.1 2D尺度自适应滤波器：核心观点

该图很好解释了原始3DGS的扩充操作会带来尺度变化不统一的原因，以及2D尺度自适应滤波器能够保证尺度变化一致的理由。蓝色区域代表3D高斯基元投影到相机平面上的尺度大小，绿色区域代表3DGS在像素平面上扩充的尺度大小，橙色区域代表2D尺度自适应滤波器在像素平面上的扩充尺度大小。3DGS的扩充尺度是固定的，并以像素为单位，因此当单位像素大小发生改变时，其扩充的尺度范围也会不同。

示意图展示了尺度变化不一致的两种情况：

左边部分，代表一个相机在 相同的位置 对同一个高斯基元进行拍摄，但是相机的 分辨率在动态调整 。这种情况下由于相机与高斯基元的相对位姿没有发生改变，因此投影区域的大小不会变化，然而随着分辨率下降，3DGS的扩充范围变大，随着分辨率上升，3DGS的扩充范围减小，但实际上扩充范围本应该保持不变。
右边部分，代表一个相机在 不同的位置 对同一个高斯基元进行拍摄，并且相机的 分辨率保持不变 。此时，当相机靠近高斯基元时，投影大小会随着增大；当相机远离高斯基元时，投影大小会随着减少。然而3DGS的扩充范围由于分辨率的固定而保持不变，但其本应该随着投影大小的增减而增减。

这种尺度变化的不一致直接导致了采样频率下降时的场景膨胀和采样频率上升时出现的侵蚀伪影。2D尺度自适应滤波器则解决了这一问题，通过将 扩充范围与投影大小进行绑定 ，进而得到在像素坐标系下的尺度扩充比例，该方法能够动态调整不同情况下的扩充范围，从而保证尺度变化的一致性。

2.2 2D尺度自适应滤波器：实现方法

基于上述讨论，保持尺度变化一致性的核心在于，确定合适的尺度扩充比例，进而嵌入到滤波器的方差中，从而动态调整滤波器的扩充范围。

上述公式分别表示2D投影高斯基元表达和3DGS扩充算子的卷积形式。其中，和分别代表2D高斯基元的中心坐标和协方差矩阵；代表扩充操作所对应的低通高斯滤波，是其对应的固定方差系数，是与同维度的单位阵。

SA-GS将尺度扩充比例因子嵌入到低通滤波器方差中，其中代表当前渲染相机的分辨率与训练相机的变化比率；代表当前渲染相机与朝向最贴近的训练相机的距离（焦距）变化比率。该尺度扩充比例因子能够自适应调整不同渲染相机参数（分辨率、焦距、距离）下尺度扩充的范围，进而保证扩充范围与投影范围尺度变化的统一，从下图可以明显看出该方法在尺度变化统一上的效果：

2.3 应用于高斯的抗锯齿技术：超采样和积分

在尺度变化保持统一的情况下，场景频率就不再随着采样频率的变化而变化，因此传统的抗锯齿方法就可以直接应用于高斯场景中。奈奎斯特采样定理证明，只有当采样频率大于被采样信号频率的两倍，才有可能重建出该被采样信号。因此，在高斯场景中，当采样频率下降（Zoom-out）时，在某个时刻将不满足奈奎斯特采样定理，进而导致过去所熟知的锯齿伪影。超采样和积分的方法，提高了采样频率，从而能够让当前采样再次满足奈奎斯特采样定理，解决上述问题。

超采样

给定一个像素，当遍历经过基数排序后的高斯基元序列时，将其分为个子像素，每个子像素各自拥有独立的alpha-blending过程和累积透明度计算。这些子像素的采样结果会在高斯基元遍历结束后进行平均，得到该像素的最终颜色:

是高斯基元序列的长度，是第个子像素和第个高斯基元的不透明度采样结果，是第个高斯基元的球谐系数，代表球谐到颜色的转换函数。由于超采样的快速收敛特性，我们发现就能取得相当不错的效果。

积分

当超采样的采样次数趋于无限，就转变为了积分形式。计算非轴对齐的2D高斯在像素区域的积分是相当困难的，因为其没有闭式解。作者在此处采用 旋转像素 的方式，将像素的长宽旋转到与2D高斯基元两个特征向量对齐的方向，从而对角化了2D高斯基元的协方差矩阵，如上图所示。通过这种近似，二维高斯积分就可以被简化为两个一维高斯积分的乘积：