模型压缩70%！精度更高！开源MoDec-GS：更紧凑、更精确的动态3DGS

0. 论文信息

标题：MoDec-GS: Global-to-Local Motion Decomposition and Temporal Interval Adjustment for Compact Dynamic 3D Gaussian Splatting

作者：Sangwoon Kwak, Joonsoo Kim, Jun Young Jeong, Won-Sik Cheong, Jihyong Oh, Munchurl Kim

机构：ETRI, South Korea、KAIST, South Korea、Chung-Ang University, South Korea

原文链接：https://arxiv.org/abs/2501.03714

代码链接：https://kaist-viclab.github.io/MoDecGS-site/

1. 导读

3D Gaussian Splatting (3DGS)在场景表示和神经渲染方面取得了重大进展，并致力于使其适应动态场景。尽管提供了卓越的渲染质量和速度，但现有的方法在存储需求和表示复杂的真实世界运动方面存在困难。为了解决这些问题，我们提出了MoDecGS，一种内存高效的高斯分布框架，旨在重建具有复杂运动的挑战性场景中的新视图。我们引入全局到局部的运动分解(GLMD)来有效地以粗到细的方式捕捉动态运动。这种方法利用全局规范支架(全局CS)和局部规范支架(局部CS)，将静态支架表示扩展到动态视频重建。对于全局CS，我们提出了全局锚变形(GAD ),通过直接变形隐式支架属性(锚位置、偏移和局部上下文特征)来有效地表示复杂运动的全局动态。接下来，我们通过局部CS的局部高斯变形(LGD)来精确调整局部运动。此外，我们引入时间间隔调整(TIA)来自动控制训练期间每个本地CS的时间覆盖范围，允许MoDecGS基于指定数量的时间片段找到最佳间隔分配。广泛的评估表明，对于来自真实世界动态视频的动态3D高斯模型，MoDecGS在模型大小上实现了平均70%的缩减，同时保持甚至提高了渲染质量。

2. 效果展示

我们提议 MoDec-GS ，这是一个内存高效的动态3D高斯分布(3DGS)框架，用于在复杂的现实世界场景中进行新的视图重建。它的核心是 全局到局部运动分解(GLMD) 方法，该方法使用具有由粗到细调整的全局和局部规范支架来捕捉动态运动。 时间间隔调整 进一步优化时间片段分配。实验表明**MoDec-GS将模型尺寸平均缩小了70%**同时保持或提高渲染质量。

我们将我们的方法与最先进的方法SC-GS，4DGS，可变形3DGS在单目视频序列上。我们提供了量化的性能以及新颖的视图渲染结果:PSNR，SSIM，LPIPS和存储大小。所提出的方法显示卓越的定量和定性质量性能比SOTA的方法甚至紧凑模型尺寸.

3. 方法

MoDec-GS概述。为了有效地训练具有复杂运动的动态3D高斯模型，我们引入了全局到局部运动分解(GLMD)。我们首先用整个帧训练全局规范支架-GS(全局CS ),并将全局锚变形(GAD)应用于专用于表示其相应时间片段的局部规范支架-GS(局部CS)。接下来，为了精细地调整剩余的局部运动，我们应用局部高斯变形(LGD ),该局部高斯变形利用共享的六边形平面显式地变形重建的3D高斯。在训练期间，执行时间间隔调整(TIA ),将时间间隔优化为适应场景运动水平的非均匀间隔。 推荐课程： 实时400FPS！高精NeRF/Gaussian SLAM定位与建图 。

两阶段变形的概念和效应。为了表示3D高斯的复杂运动，可以通过锚本身的变形来更有效地处理时间间隔上的全局运动。相比之下，单个3D高斯在一个时间间隔内的细微运动可以通过每个高斯的显式变形来有效地解决。

在训练过程中，时间间隔通过TIA适当地适应场景中的运动程度。已经证实，累积的归一化光流幅度被TIA重新平衡，这导致重新平衡每个间隔覆盖的运动程度。

4. 实验结果

5. 总结 & 未来工作

我们提出MoDec-GS，这是一个新颖的紧凑框架用于高质量动态3D高斯溅射，解决了动态场景重建中的存储需求和复杂运动挑战。通过利用全局到局部运动分解(GLMD)，其中包含全局锚点变形(GAD)用于全局运动和局部高斯变形(LGD)用于精细局部调整，MoDec-GS有效地捕捉复杂运动，同时使用最小的存储空间。此外我们的时间间隔调整(TIA)允许自适应时间分割跨越动态间隔，而不需要外部运动数据。广泛评估证实，MoDec-GS显著减小模型大小，平均减少70%，同时在具有挑战性的数据集上保持或提高渲染质量，为现实世界的动态3D重建提供了一种紧凑而强大的解决方案。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

本文仅做学术分享，如有侵权，请联系删文。

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括 2D计算机视觉 、 最前沿 、 工业3D视觉 、 SLAM 、 自动驾驶 、 三维重建 、 无人机 等方向，细分群包括：

工业3D视觉 ：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM ：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶 ：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建 ：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等。

无人机 ：四旋翼建模、无人机飞控等

2D计算机视觉 ：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿 ：具身智能、大模型、Mamba、扩散模型、图像/视频生成等

除了这些，还有 求职 、 硬件选型 、 视觉产品落地、产品、行业新闻 等交流群

添加小助理: cv3d001，备注： 研究方向+学校/公司+昵称 （如 3D点云+清华+小草莓 ）, 拉你入群。

3D视觉工坊知识星球

「3D视觉从入门到精通」知识星球 ( 点开有惊喜 ) ，已沉淀6年，星球内资料包括： 秘制视频课程近20门 （包括 结构光三维重建、相机标定、SLAM、深度估计、3D目标检测、3DGS顶会带读课程、三维点云 等）、