3DGS再进化！斯坦福最新3DGS模型让每个高斯点都能展现细腻的纹理！

0.这篇文章干了啥？

这篇文章提出了一种基于纹理高斯（Textured Gaussians）的新方法，通过在传统的3D高斯点云模型（3DGS）中引入纹理贴图，增强了三维场景的外观表现。该方法使得每个高斯能够表示空间上变化的颜色和不透明度，从而能更精确地重建场景的细节，尤其是在高频纹理和复杂形状的重建上，表现优于传统的3DGS。通过实验，作者展示了在使用相同数量的高斯时，纹理高斯模型能够实现更高质量的视图合成，且在相同模型大小下表现也更好。此外，文章还探讨了不同纹理映射和高斯数量对重建质量的影响，并证明了纹理高斯模型在多个标准数据集和自定义数据集上的有效性。

下面一起来阅读一下这项工作~

1. 论文信息

论文题目：Textured Gaussians for Enhanced 3D Scene Appearance Modeling

作者：Brian Chao , Hung-Yu Tseng等

作者机构：Stanford University ， Meta等

论文链接：https://arxiv.org/pdf/2411.18625

2. 摘要

抽象的3D高斯点绘（3DGS）由于其高质量的结果以及快速的训练和渲染时间，近年来成为一种先进的3D重建和渲染技术。然而，覆盖在同一高斯分布上的像素总是被渲染为相同的颜色，最多会受到高斯衰减因子的影响。此外，任何单一高斯分布能够表示的最精细几何细节只是一个简单的椭球体。这些3DGS的特性大大限制了单个高斯原语的表现力。为了应对这些问题，我们从传统图形学中的纹理映射和透明度（alpha）映射中汲取灵感，并将其与3DGS结合。具体来说，我们提出了一种新的广义高斯外观表示方法，为每个高斯分布添加了alpha（A）、RGB或RGBA纹理贴图，以模拟每个高斯分布区域内的空间变化颜色和不透明度。因此，每个高斯分布可以表示更丰富的纹理模式和几何结构，而不仅仅是像传统高斯点绘中那样的单一颜色和椭球体。令人惊讶的是，我们发现仅使用alpha纹理贴图就能显著提高高斯分布的表现力，而进一步通过RGB纹理贴图来增强高斯分布则能达到最高的表现力。我们在各种标准基准数据集和我们自己的自定义捕获数据上对方法进行了验证，涵盖了对象级和场景级的应用。我们展示了在使用相似或更少数量的高斯分布的情况下，相较于现有方法，图像质量得到了显著提升。 推荐课程： 实时400FPS！高精NeRF/Gaussian SLAM定位与建图 。

3. 效果展示

与3D高斯溅射（3DGS）相比， 纹理高斯 模型通过使用RGBA纹理增强了3D场景外观建模，从而在使用相同数量的高斯时，显著提高了渲染质量。上述实验表明， 纹理高斯 能够真实地重建场景的细节。

基准数据集的定性新视图合成（NVS）结果。我们展示了对象级和场景级标准基准数据集的合成结果。在使用相同数量的高斯（对象级数据集平均使用2.5k个高斯，场景级数据集使用39k个高斯）的情况下，3DGS∗无法重建高频纹理和复杂形状，而我们的RGBA纹理高斯模型成功地实现了这一点。有关我们模型在不同高斯数量下优化的结果，请参见附录。

自定义数据集的定性新视图合成（NVS）结果。我们的RGBA纹理高斯模型在使用相同数量的少量高斯时（平均约100k个高斯），相比于3DGS∗，能够实现更锐利的重建效果。

4. 主要贡献

• 引入了一种广义的3D高斯外观模型，通过为3D高斯添加alpha、RGB或RGBA纹理图来处理空间变化的颜色和不透明度。
• 验证了纹理高斯在多种对象级和场景级数据集上改进了3DGS。
• 演示了我们的方法在高斯数量较少时显著优于3DGS，并且在相同模型大小下，使用alpha纹理的情况下，其表现优于3DGS。

5. 基本原理是啥？

1. 3D高斯建模（3DGS） ：传统的3D高斯建模使用高斯函数（通常在3D空间中）来表示场景中的局部物体或结构。每个高斯都有一个均值和协方差矩阵，用于表示其位置和形状。这些高斯可以被用来合成3D场景的外观，但在处理复杂的纹理和细节时，传统的3D高斯存在局限性。

2. 纹理图增强 ：为了克服传统3D高斯建模的局限性，作者提出将2D纹理图（如alpha-only、RGB或RGBA纹理图）与高斯结合，允许每个高斯表示空间上变化的颜色和不透明度。具体来说：

• 空间变化的颜色和不透明度 ：每个高斯不仅表示其几何形状，还能够通过纹理图映射不同的颜色和透明度，使得高斯能够更好地表达物体的细节和表面特性。
• 纹理映射与插值 ：纹理图与每个高斯的几何形状相结合，通过光线与平面交点的UV映射以及双线性插值，计算像素的颜色和不透明度。这样，模型就可以细致地重建更复杂的纹理细节。

6. 实验结果

1. 定量结果（Quantitative Results）

• 纹理高斯模型 通常在所有指标上都优于 3DGS∗ 和其他方法。这是因为纹理高斯能通过附加的纹理图来表示更丰富的形状和外观，因此表达能力更强。
• 在表格的下半部分，作者还展示了使用较少数量高斯的比较结果（例如1%数量的高斯）。当使用较少数量的高斯时， 纹理高斯模型 相比 3DGS∗ 表现出约2 dB的提高，进一步证明了该方法即使在减少计算量的情况下，也能取得更好的效果。

• PSNR/SSIM/LPIPS ：在表1中，作者展示了他们的 纹理高斯模型 与传统的 3DGS∗ 模型以及其他基准方法在 PSNR（峰值信噪比） 、 SSIM（结构相似性） 和 LPIPS（学习的感知图像相似度） 等指标上的定量比较。

• 模型大小和高斯数量的关系 ：表2中比较了使用 alpha-only纹理 和 RGBA纹理 的 3DGS∗ 模型与 纹理高斯模型 的性能。结果显示， alpha-only纹理 的模型通常优于 3DGS∗ 和 RGBA纹理 的模型。这表明，在模型大小预算的分配上，存在一个最优的平衡点，即在高斯参数和纹理图通道之间进行合理的分配。

• 对于 RGB 和 RGBA模型 ， ctex 能够重建比 3DGS∗ 更精细的纹理细节。
• 对于 alpha-only 和 RGBA模型 ， cbase 通过空间变化的alpha合成，能够恢复高频细节。

• 新视图合成（Novel-View Synthesis） ：在 图5 和 图6 中，作者展示了使用 RGBA纹理 的 纹理高斯模型 与 3DGS∗ 在标准基准数据集和自定义数据集上的新视图合成效果。结果显示， 纹理高斯模型 能够在使用相同数量的高斯时，比 3DGS∗ 重建更清晰的细节。即使在低高斯数量的情况下，纹理高斯模型也能够恢复更多的细节和纹理。

• 颜色分量分解（Color Component Decomposition） ：在 图7 中，作者展示了 alpha-only 、 RGB 和 RGBA纹理 的纹理高斯模型的两种颜色分量（ctex 和 cbase）的分解效果。通过与 3DGS∗ 模型的对比，发现：

• 纹理图变体（Texture Map Variants） ：作者对使用不同纹理图（ alpha-only 、 RGB 和 RGBA 纹理图）的模型进行了消融实验，结果显示， RGBA纹理 模型通常表现最佳。而 alpha-only纹理 模型尽管模型大小仅为 RGB纹理模型的三分之一 ，但已经超越了 3DGS∗ 模型，表明纹理高斯模型在保持小模型大小的同时，也能在性能上达到较好的平衡。

• 纹理图分辨率与高斯数量（Texture Map Resolution and the Number of Gaussians） ：在 图9 中，作者优化了 alpha-only纹理高斯模型 ，展示了不同纹理图分辨率和高斯数量对新视图合成性能的影响。实验结果表明，在纹理图分辨率与高斯数量之间存在一个最优点，能够提供最佳的图像重建质量。过高的纹理图分辨率会显著减少高斯数量，导致几何细节的重建效果变差；而将纹理图分辨率降低，则会使得模型退化为传统的3DGS∗。

7. 总结 & 未来工作

局限性

我们模型中使用的2D扩散纹理图假设所有纹理都位于局部表面上，并且没有建模空间变化的镜面反射颜色。因此，将我们的纹理表示扩展到表示局部3D体积纹理甚至5D辐射场是至关重要的。此外，使用因式分解表示法，如TensoRF 或三平面（triplane），来表示这些高维纹理，也可能是一个有趣的研究问题。

结论

本文通过将纹理图添加到3DGS中，使得单个高斯能够建模空间变化的颜色和不透明度。因此，每个高斯可以表示一个更加丰富的外观和形状集合。这大大提高了单个高斯的表达能力，进而改善了新视图合成的质量。当使用相同数量的高斯时，我们的方法比3DGS取得了更好的质量，并且在使用相同模型大小时，能够达到更好或相当的质量。

本文仅做学术分享，如有侵权，请联系删文。

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括 2D计算机视觉 、 最前沿 、 工业3D视觉 、 SLAM 、 自动驾驶 、 三维重建 、 无人机 等方向，细分群包括：

工业3D视觉