DreamGaussian4D：10分钟实现四维内容生成

在近期的Arxiv上，商汤科技-南洋理工大学联合 AI 研究中心 S-Lab ，上海人工智能实验室，北京大学与密歇根大学联合提出DreamGaussian4D（DG4D），通过结合空间变换的显式建模与静态3D Gaussian Splatting（GS）技术实现高效四维内容生成。四维内容生成近来取得了显著进展，但是现有方法存在优化时间长、运动控制能力差、细节质量低等问题。

DG4D提出了一个包含两个主要模块的整体框架：1） 图像到4D GS - 我们首先使用DreamGaussianHD生成静态3D GS，接着基于HexPlane生成基于高斯形变的动态生成；2） 视频到视频纹理细化 - 我们细化生成的UV空间纹理映射，并通过使用预训练的图像到视频扩散模型增强其时间一致性。值得注意的是，DG4D将四维内容生成的优化时间从几小时缩短到几分钟（如图1所示），允许视觉上控制生成的三维运动，并支持生成可以在三维引擎中真实渲染的动画网格模型。

论文名称：

DreamGaussian4D: Generative 4D Gaussian Splatting

论文地址：

https://arxiv.org/abs/2312.17142

项目主页：

https://jiawei-ren.github.io/projects/dreamgaussian4d/

Demo地址：

https://huggingface.co/spaces/jiawei011/dreamgaussian4d

图1 DG4D在四分半钟内可实现四维内容优化基本收敛

一、问题和挑战

图2 DG4D生成的四维内容支持导入到传统计算机图形学渲染引擎中

目前主流的四维内容生成方法都基于四维动态神经辐射场（4D NeRF）表示。比如，MAV3D[1] 通过在HexPlane[2]上提炼文本到视频的扩散模型，实现了文本到四维内容的生成。Consistent4D[3]引入了一个视频到四维的框架，以优化级联的DyNeRF，从静态捕获的视频中生成四维景物。通过多重扩散模型的先验，Animate124[4] 能够通过文本运动描述将单个未处理的二维图像动画化为三维的动态视频。基于混合SDS[5]技术，4D-fy[6]使用多个预训练扩散模型可实现引人入胜的文本到四维内容的生成。

然而， 所有上述现有方法[1,3,4,6]生成单个4D NeRF都需要数个小时 ，这极大地限制了它们的应用潜力 。此外，它们都难以有效控制或选择最后生成的运动。以上不足主要来自以下几个因素：首先，前述方法的底层隐式四维表示不够高效，存在渲染速度慢和运动规律性差的问题；其次，视频SDS的随机性质增加了收敛难度，并在最终结果中引入了不稳定性和多种瑕疵伪影现象。

二、方法介绍

2.1 图像到4D GS的生成

图3 图片到4D GS生成框架图

图4 DreamGaussianHD初始化基于3D GS的三维物体模型

• DreamGaussianHD 基于近来使用3D GS的图生三维物体方法DreamGaussian[7]，我们做了一些进一步的改进，整理出一套效果更佳的3D GS生成和初始化方法。主要改进的操作包括有1）采取多视角的优化方式；2）设定优化过程中的渲染图片背景为更适合生成的黑色背景。我们称呼改进后的版本为DreamGaussianHD，具体的改进效果图可见图4。

图5 HexPlane表征动态形变场

• Gaussian Deformation 基于生成的静态3D GS模型，我们通过预测每一帧中高斯核的变形来生成符合期望视频的动态4D GS模型。在动态效果的表征上，我们选用HexPlane（如图5所示）来预测每一个时间戳下高斯核位移、旋转和比例尺度，从而驱动生成每一帧的动态模型。此外，我们也针对性地调整设计网络，尤其是对最后几个线性操作的网络层做了残差连接和零初始化的设计，从而可以平滑充分地基于静态3D GS模型初始化动态场（效果如图6所示）。

图6 零初始化动态形变场对最后生成效果的影响

2.2 视频到视频的纹理优化

图7 视频到视频纹理优化框架图

类似于DreamGaussian，在第一阶段基于4D GS的四维动态模型生成结束后，可以提取四维的网格模型序列。并且，我们也可以类似于DreamGaussian的做法，在网格模型的UV空间中对纹理做进一步的优化。不同于DreamGaussian只对单独的三维网格模型使用图片生成模型做纹理的优化，我们需要对整个三维网格序列做优化。并且，我们发现如果沿用DreamGaussian的做法，即对每个三维网格序列做独立的纹理优化，会导致三维网格的纹理在不同的时间戳下有不一致的生成，并且常常会有闪烁等瑕疵伪影效果出现。

鉴于此，我们有别于DreamGaussian，提出了基于视频生成大模型的视频到视频的UV空间下纹理优化方法。具体而言，我们在优化过程中随机生成了一系列相机轨迹，并基于此渲染出多个视频，并对渲染出的视频做相应的加噪和去噪处理，从而实现对生成网格模型序列的纹理增强。基于图片生成大模型和基于视频生成大模型做的纹理优化效果对比展示在图8中。

图8 基于视频到视频的纹理优化可以实现时序上纹理的稳定性和一致性

三、实验结果

表1 四维内容生成方法用时对比

表2 基于单图生成的四维内容与图片的一致性对比

表3 基于视频生成的四维内容相关方法的数值结果对比

表4 基于单图生成的四维内容的用户测试

图9 图生四维内容效果对比图

图10 视频生四维内容效果对比图

图11 基于前馈生成3D GS的方法生成的四维动态内容

图 12 单图生成四维内容的动态展示

四、结语

参考资料

[1] Singer et al. "Text-to-4D dynamic scene generation." Proceedings of the 40th International Conference on Machine Learning. 2023.

[2] Cao et al. "Hexplane: A fast representation for dynamic scenes." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023.

[3] Jiang et al. "Consistent4D: Consistent 360° Dynamic Object Generation from Monocular Video." The Twelfth International Conference on Learning Representations. 2023.

[4] Zhao et al. "Animate124: Animating one image to 4d dynamic scene." arXiv preprint arXiv:2311.14603 (2023).

[5] Poole et al. "DreamFusion: Text-to-3D using 2D Diffusion." The Eleventh International Conference on Learning Representations. 2022.

[6] Bahmani, Sherwin, et al. "4d-fy: Text-to-4d generation using hybrid score distillation sampling." arXiv preprint arXiv:2311.17984 (2023).

[7] Tang et al. "DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation." The Twelfth International Conference on Learning Representations. 2023.

llustration From IconScout By Delesign Graphic