清华最新 | 突破存储限制，实现高效3D Gaussian Splatting渲染

点击下方 卡片 ，关注 「计算机视觉工坊」 公众号
选择 星标 ，干货第一时间送达

编辑：计算机视觉工坊

添加小助理：dddvision，备注：方向+学校/公司+昵称，拉你入群。文末附行业细分群

扫描下方二维码，加入 3D视觉知识星球 ，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料： 近20门视频课程（星球成员免费学习） 、 最新顶会论文 、 计算机视觉书籍 、 优质3D视觉算法源码 等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

0. 这篇文章干了啥？

本文介绍了一种名为SUNDAE的新方法，用于高效表示3D场景。SUNDAE基于高斯采样表示场景，并引入了谱图剪枝和神经补偿两项技术，以减少冗余的高斯采样点，并补偿剪枝带来的质量损失。实验结果显示，SUNDAE在保持渲染速度和质量的同时，显著降低了高斯采样点的存储需求。

下面一起来阅读一下这项工作~

1. 论文信息

标题：SUNDAE: Spectrally Pruned Gaussian Fields with Neural Compensation

作者：Runyi Yang等人

机构：清华大学等单位

原文链接：https://arxiv.org/pdf/2405.00676

代码链接：https://runyiyang.github.io/projects/SUNDAE/

2. 摘要

近年来，3D高斯Splatting作为一种新颖的3D表现形式，因其快速的渲染速度和高的渲染质量而受到关注。然而，这伴随着高内存消耗，例如，一个训练有素的高斯场可能使用 300 万个高斯基元和超过 700 MB 的内存。我们将这种高内存占用归因于缺乏对基元之间关系的考虑。在本文中，我们提出了一种名为SUNDAE的内存高效高斯场，该场具有谱修剪和神经补偿功能。一方面，我们在高斯基元集上构建了一个图来模拟它们的关系，并设计了一个频谱下采样模块来修剪基元，同时保留所需的信号。另一方面，为了弥补修剪高斯的质量损失，我们利用一个轻量级的神经网络头来混合散射特征，这有效地补偿了质量损失，同时捕获了其权重中基元之间的关系。我们用广泛的结果展示了SUNDAE的性能。例如，在 Mip-NeRF360 数据集上，SUNDAE 可以使用 104 MB 内存在 145 FPS 时实现 26.80 PSNR，而使用 523 MB 内存的普通高斯飞溅算法可以在 160 FPS 下实现 25.60 PSNR。代码在此 https URL 上公开提供。

3. 方法

上图展示了SUNDAE方法的整体流程：

(a)Pipeline: 首先进行3D高斯场的预热，然后使用基于图的剪枝策略进行降采样，最后通过卷积神经网络对剪枝引起的损失进行补偿。

(b)Graph-based Pruning: 在预热后，利用基于高斯原语空间关系的图进行剪枝。通过使用带限图滤波器，这个过程能够从高频部分提取细节，并从低频部分捕获一般特征，从而实现对整个场景全面且高效的表示。

总体而言，SUNDAE方法通过预热生成密集的高斯场，然后利用谱图剪枝方法移除冗余的高斯原语，并通过神经补偿网络弥补剪枝造成的质量损失。

4. SUNDAE是如何减少3DGS的存储需求的？

SUNDAE方法通过两种主要方式减少了3D Gaussian Splatting的存储需求：

1. 基于图的剪枝 ：SUNDAE方法构建了一个基于高斯原语之间空间关系的图，然后使用谱图剪枝方法移除冗余的高斯原语。通过这种方法，可以只保留重要的高斯原语，从而显著减少了存储需求。
2. 神经补偿网络 ：在剪枝后，SUNDAE方法使用一个轻量级的神经网络来补偿渲染质量的损失。这个网络学习整合不同高斯原语的信息，以弥补剪枝造成的质量下降。由于该网络相对较小，因此对存储需求的增加非常有限。

通过这两种互补的技术，SUNDAE方法在保持高渲染质量和快速渲染速度的同时，大幅降低了3D Gaussian Splatting的存储需求。在实验中，SUNDAE方法可以将存储需求降低到原来的10%左右，同时渲染质量仅略有下降。

5. SUNDAE方法中的神经补偿模块是如何工作的？

SUNDAE方法中的神经补偿模块的工作流程如下：

1. 特征渲染 ：使用3D Gaussian Splatting算法渲染高斯原语的特征图，而不是直接渲染RGB图像。
2. 神经网络 ：引入一个轻量级的神经网络，输入为特征渲染的结果，输出为最终的RGB图像。
3. 学习整合 ：神经网络学习整合不同高斯原语的信息，以弥补剪枝造成的信息损失。网络权重可以捕获不同原语之间的关系。
4. 训练 ：通过最小化网络输出与真实图像之间的差异来训练网络。同时进行高斯原语的优化。
5. 同时优化 ：神经补偿模块和3D Gaussian原语是同时进行优化的，共同提高渲染质量。

通过这种方式，神经补偿模块在2D特征图层面学习整合信息，弥补了在3D空间中剪枝造成的质量损失。同时，由于该模块相对较小，因此对存储需求的影响也相对有限。

6. 实验结果

定量结果 ：在MipNeRF360、Tanks&Temples和Deep Blending三个数据集上，与多个基准方法进行比较，包括PSNR、SSIM、LPIPS、FPS和存储大小等指标。结果显示SUNDAE方法在保持高质量的同时大幅降低了存储需求。

定性结果 ：展示了不同采样率下的渲染图像，与3DGS和InstantNGP进行比较，表明SUNDAE方法可以实现相近的渲染质量，但存储需求显著降低。

Ablation分析 ：进行了包括谱图剪枝参数、神经补偿模块效果和模块大小等Ablation分析，验证了SUNDAE方法的有效性。

效率评估 ：给出了训练时间、CUDA内存、渲染FPS和ROM存储等指标，表明SUNDAE方法在保持高效渲染的同时大幅降低了存储需求。

7. 总结

本文提出了SUNDAE方法，旨在减少3D Gaussian Splatting的存储需求，同时保持高渲染质量和快速渲染速度。该方法包括两个主要部分：

1. 基于图的谱剪枝 ：利用高斯原语的空间关系构建图，并采用谱图剪枝技术移除冗余原语，只保留关键信息。
2. 神经补偿网络 ：在剪枝后引入一个轻量级神经网络，以整合不同原语的信息，弥补剪枝造成的信息损失。

通过实验分析，SUNDAE方法在多个数据集上取得了优异的结果，大幅降低了存储需求，同时保持了高质量的渲染效果。此外，该方法具有高效渲染速度，训练时间也相对较短。综上所述，SUNDAE方法提供了一种有效途径，在保证渲染效果的同时显著降低了3D Gaussian Splatting的存储需求，为该方法在移动平台和边缘计算中的应用提供了可能。

本文仅做学术分享，如有侵权，请联系删文。

计算机视觉工坊交流群

目前我们已经建立了3D视觉方向多个社群，包括 2D计算机视觉 、 大模型 、 工业3D视觉 、 SLAM 、 自动驾驶 、 三维重建 、 无人机 等方向，细分群包括：

2D计算机视觉： 图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

大模型： NLP、CV、ASR、生成对抗大模型、强化学习大模型、对话大模型等

工业3D视觉： 相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM ： 视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶： 深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、BEV感知、Occupancy、目标跟踪、端到端自动驾驶等。

三维重建： 3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机： 四旋翼建模、无人机飞控等

除了这些，还有 求职 、 硬件选型 、 视觉产品落地 、 最新论文 、 3D视觉最新产品 、 3D视觉行业新闻 等交流群

添加小助理: dddvision，备注： 研究方向+学校/公司+昵称 （如3D点云+清华+小草莓） , 拉你入群。

3D视觉学习知识星球

3D视觉从入门到精通知识星球、国内成立最早、6000+成员交流学习。包括： 星球视频课程近20门（价值超6000） 、 项目对接 、 3D视觉学习路线总结 、 最新顶会论文&代码 、 3D视觉行业最新模组 、 3D视觉优质源码汇总 、 书籍推荐