中科院最新发表 | 高效可控的3DGS风格化方法：StylizedGS

标题：StylizedGS: Controllable Stylization for 3D Gaussian Splatting
论文：https://arxiv.org/pdf/2404.05220

1、介绍

本文介绍了一种基于3D高斯溅射表示的可控制3D场景风格化方法StylizedGS。该方法包括两个关键步骤：首先通过颜色匹配将3D场景颜色与风格图像对齐，同时应用3D高斯滤波器减少重建中的噪点；其次，利用最近邻特征匹配损失优化3D高斯的位置和颜色参数，以捕捉局部风格细节，并引入深度保持损失以保留场景几何结构。此外，通过设计的损失函数和优化方案，实现了对颜色、风格尺度和空间区域的灵活控制。实验结果显示，该方法在风格化质量和推理速度方面优于现有3D风格化方法，实现了高效的风格化控制。

2、主要贡献

• StylizedGS是一种新颖的可控三维高斯风格化方法，它将各个模块有机地集成在一起，并进行适当的改进，以传递细节风格特征，产生忠实的新颖风格化视图。
• 通过特别设计的损失，赋予用户高效的风格化流程和灵活的控制，增强用户的创作能力。
• 与现有的3D风格化方法相比，我们的方法在生成高质量风格化场景的同时显著减少了训练和渲染时间。

3、方法

3.1、如何将风格从2D风格图像传递到3DGS模型

1. Color Match ：首先，通过线性变换和直方图匹配将3DGS的颜色参数与风格图像的颜色特征进行匹配，实现颜色的对齐，从而增强渲染图像与风格图像的视觉一致性。
2. Stylization ：随后，利用预训练的VGG网络提取渲染图像和风格图像的特征图，并计算渲染特征图与风格特征图之间的最近邻匹配损失，以传递局部风格特征。同时，引入内容损失以保留原始场景的内容，并通过深度保持损失和正则化项来保持场景的几何一致性。
3. Loss Functions ：在风格优化阶段，使用风格损失、内容损失、深度保持损失和正则化项来优化3DGS的参数，以生成具有忠实风格特征且几何一致性的渲染图像。

3.2、如何实现用户对3D高斯溅射(3DGS)风格化的感知控制

如何实现用户对3D高斯溅射(3DGS)风格化的感知控制，包括颜色、缩放和空间区域的控制方法。

1. Color Control ：允许用户保留原始颜色或应用风格图像的颜色，通过在颜色匹配阶段使用YIQ颜色空间来分离颜色和亮度信息，实现颜色风格控制。
2. Scale Control ：用户可以控制基本风格元素的密度，如笔触的粗细，通过调节VGG网络感受野的大小来实现风格缩放控制。
3. Spatial Control ：允许用户指定不同区域应用不同风格，通过用户指定区域生成区域掩码，实现空间风格控制。

4、实验

在LLFF和Tanks & Temples数据集上进行了广泛的实验，并使用不同的风格图像来评估方法对不同风格示例的处理能力。与现有的基于不同3D表示的风格化方法进行了比较，包括基于点云、基于NeRF等，以证明其效果。作者也展示了StylizedGS与基准方法在LLFF和Tanks & Temples数据集上的定性比较结果，证明其优于其他方法。也进行了量化比较，证明StylizedGS在风格化质量、内容保留和效率方面优于其他方法。等等。总体来说，通过全面的实验来证明StylizedGS方法的有效性和高效性，是该文章的重要支撑。

5、结论

本文提出了一种基于3D高斯溅射(3DGS)的可控3D场景风格化方法StylizedGS。该方法首先使用3DGS表示场景，然后引入GS滤波器消除重建中的浮动影响。接着，利用最近邻特征匹配损失优化3DGS的几何和颜色参数，以实现细节风格传递，并引入深度保持损失以保留几何结构。同时，提出对颜色、缩放和空间区域的灵活控制方法，增强了方法的定制能力。实验证明StylizedGS在风格化质量和效率方面优于现有3D风格化方法。最后，讨论了方法的局限性，并提出了未来工作的方向。

本文仅做学术分享，如有侵权，请联系删文。

在这里给大家推荐3D视觉工坊联合Gigi主讲老师推出的新课《 基于NeRF/Gaussian三维重建的全新SLAM算法 》

主讲人介绍

课程大纲

课程亮点

• 本门课程从理论和代码实现两方面展开，带你从 零入门NeRF/Gaussian Based SLAM的原理学习、论文阅读、代码梳理等 。