超越基准 | 基于每个高斯变形的3D高斯溅射方法及其高效训练策略

题目：Per-Gaussian Embedding-Based Deformation for Deformable 3D Gaussian Splatting
作者：Jeongmin Bae等
代码：https://jeongminb.github.io/e-d3dgs/
论文链接：https://arxiv.org/abs/2404.03613

1 引言

由于3DGS提供了快速、高质量的新颖视图合成，因此将规范的 3DGS 变形为多个帧是一种自然的扩展。然而，以往的作品未能准确重建动态场景，特别是1）静态部分沿着附近的动态部分移动，以及2）一些动态区域模糊不清。我们将失败归因于变形场的错误设计，变形场是作为基于坐标的函数构建的。这种方法是有问题的，因为 3DGS 是以高斯为中心的多个场的混合体，而不仅仅是一个基于坐标的框架。为了解决这个问题，我们将变形定义为每高斯嵌入和时间嵌入的函数。此外，我们将变形分解为粗变形和细变形，以分别模拟慢速和快速运动。此外，我们还引入了一种高效的培训策略，以实现更快的收敛和更高的质量。

2 主要贡献

1. 为每个高斯分配一个潜在嵌入，用于预测其变形；
2. 将时间变化分解为粗糙和精细变形，分别建模场景中的缓慢和快速运动；
3. 提出了有效的训练策略，包括相机采样、帧采样和多视图DSSIM损失，以提高收敛速度和性能。

3 方法

如图所示作者提出的方法，包括以下几个关键点：

基于嵌入的变形(Embedding-Based Deformation) : 作者为每个高斯函数分配一个32维的潜在嵌入，用于表示该高斯函数随时间的变形。同时，引入了一个256维的时间嵌入，表示不同帧的状态。通过将每个高斯函数的嵌入和对应帧的时间嵌入作为输入，预测每个高斯函数的参数变化，从而实现基于嵌入的变形。

粗细变形(Coarse-Fine Deformation) : 作者将时间变化分解为粗变形和细变形。粗变形负责表示场景中的大运动或慢运动，而细变形则学习粗变形无法覆盖的快运动或细节运动。通过两个不同时间分辨率的变形网络来实现这一方案。

高效训练策略(Efficient Training Strategy) : 为了加速收敛，作者提出了一种高效的训练策略，包括均匀覆盖多视角、基于误差采样难训练帧，以及通过多视角DSSIM损失诱导高斯密化。

4 实验

根据文档内容，【4 Experiment】部分主要介绍了作者进行的实验验证和分析，包括以下几个方面：

实验验证 ：作者在Neural 3D Video、Technicolor Light Field和HyperNeRF数据集上进行了验证实验，并选择了相应基准进行比较。实验结果显示，该方法在动态区域重建质量、捕捉细节和计算效率等方面明显优于基准方法。

分析 ：作者分析了粗细变形网络的作用，并进行了可视化。结果表明，粗变形负责捕捉大运动，而细变形负责捕捉小运动。同时，作者进行了ablation study，结果表明去除粗变形或细变形网络都会降低性能。

高效训练策略 ：作者分析了高效训练策略中相机采样、基于误差的帧采样和多视角DSSIM损失的作用。实验结果显示，这些策略可以加快收敛，提高性能。

局限性 ：作者讨论了方法的局限性，如快运动区域的模糊问题，并提出了改进方向。

5 总结

这篇文章提出了一种基于高斯嵌入的变形方法，用于动态三维高斯溅射(3DGS)。实验结果表明，该方法在动态区域重建、细节捕捉和挑战性相机设置下表现出色，优于多个基线方法。

本文仅做学术分享，如有侵权，请联系删文。

在这里给大家推荐3D视觉工坊联合Gigi主讲老师推出的新课《 基于NeRF/Gaussian三维重建的全新SLAM算法 》

主讲人介绍

课程大纲

课程亮点

• 本门课程从理论和代码实现两方面展开，带你从 零入门NeRF/Gaussian Based SLAM的原理学习、论文阅读、代码梳理等 。