ShapeSplat: 基于shapenet的Gaussian Splats数据集

3D Gaussian Splatting（3DGS）已成为许多视觉任务中3D表示的既定方法，这要求在表示空间中直接进行3D理解，为了促进这方面的研究，首先使用常用的ShapeNet和ModelNet数据集构建了一个大规模3DGS数据集。数据集ShapeSplat包括87个独特类别的65000个对象，其标签与各自的数据集相一致。这个数据集的创建利用了在TITAN XP GPU上的2年计算等效，利用这个数据集进行无监督预训练和有监督分类和分割任务。为此引入了 Gaussian-MAE，突出表示学习从高斯参数的独一无二优势。通过充分的实验提供了几个有价值的见解。特别是证明了：（1）优化后的GS中心点的分布与用于初始化的均匀采样点云有很大的不同；（2）这种分布的变化导致分类任务的性能下降，但在分割任务中得到提高；（3）为了利用额外的 Gaussian 参数，我们在归一化的特征空间中提出 Gaussian 特征组，并配合 splats 池化层，提供了一个针对有效地分组和嵌入类似高斯的方法，从而在定理任务中取得了显著的改进。

图1. ShapeSplat数据集和Gaussian-MAE方法，提出了ShapeSplat，这是一个耗时2年GPU时间进行渲染和光栅化的大规模数据集。得益于该数据集和提出的预训练方法Gaussian-MAE，模型在准确率上超越了点云对应方法0.55%，在平均交并比（mean IoU）上超越了0.4%。

• ShapeSplat是一个大规模的高斯点集数据集，涵盖了65,000个物体，分属87个独特类别。

• Gaussian-MAE是基于掩码自编码器的自监督预训练方法，专为高斯点集设计。

• 在嵌入阶段提出了新的高斯特征分组方法，并引入了点集池化层，这些方法针对高斯参数进行了优化，使得重建效果和下游任务表现得以提升。

图2. ShapeSplat渲染的定性结果，展示了用于ShapeSplat数据集的高质量渲染效果，涵盖复杂表面、阴影以及细小物体的表现。

这篇文章主要围绕3D高斯喷溅（3D Gaussian Splats, 3DGS）展开，这是一种相对新颖的3D表示方法，具备快速渲染、可微分、易于编辑等优点。3DGS的独特之处在于它将3D对象表示为一系列高斯函数的集合，每个高斯函数代表对象表面的一部分，这种表示方法比传统的网格模型和点云更加灵活且高效。然而，尽管3DGS具有显著的优势，目前在这一领域还缺乏大规模的数据集和相应的自监督学习方法，这极大限制了3DGS在实际应用中的发展。

ShapeSplat数据集

为了弥补这一不足，文章首先介绍了ShapeSplat数据集的构建。该数据集基于ShapeNet和ModelNet等知名3D模型库，通过对这些库中的对象进行3D高斯喷溅表示，生成了65,000个对象，涵盖87个独特类别。作者使用GPU进行了大规模计算，以确保生成的高斯喷溅具有高精度和高质量。ShapeSplat数据集的构建为3DGS领域提供了一个基础性的资源，有助于推动进一步的研究和应用。

图3. 高斯Splats质心和点云的分布对比。突出了高斯质心（左）和用于初始化的点云（右）之间的差异。

图4. 基于单个高斯参数值对Splats质心进行颜色标注。该可视化揭示了参数分布相对于空间维度的复杂性。

Gaussian-MAE方法

在数据集的基础上，文章提出了Gaussian-MAE，一种基于掩码自动编码器（MAE）的自监督学习方法，用于在3D高斯参数上进行预训练。掩码自动编码器是一种在输入数据中随机掩盖部分信息并要求模型进行重建的学习框架，适合用于未标注数据的自监督学习。Gaussian-MAE的方法创新在于，它直接在3DGS参数空间中进行学习，而不是在传统的3D点云或网格表示中进行。

图5. Gaussian-MAE框架。给定下采样的高斯Splats，首先选择用于分组特征G(·)和嵌入特征E(·)的参数。G(·)用于将Splats分成n组，而E(·)则作为MAE中的重建目标。在Splats池化层之后，分组的Splats被标记为组标记T，然后这些标记被掩码，显示的部分Tv传递给编码器fθ，以获得潜在表示z。在z与可学习标记Tl连接后，解码器gθ恢复被掩盖的标记Tˆm，并通过投影来获得嵌入组件Eˆm，用于计算重建损失Lrecon。作为示例，我们使用G(C)进行分组，使用E(C, S, R)进行嵌入，其他输入也遵循相同的过程。

高斯特征分组与Splat池化层

为了解决在高斯参数空间中进行学习的挑战，作者设计了一个新的高斯特征分组与Splat池化层（Splat Pooling Layer）策略。在特征提取阶段，这种策略可以有效地将相似的高斯函数聚类，并通过池化层进行处理，以生成更加紧凑和表达力更强的特征表示。这种方法的设计初衷是为了更好地适应高斯参数的特性，从而在重建和下游任务（如分类和分割）中获得更好的表现。

图6. 不同分组方法的每属性重建。对于每个高斯参数，报告相对重建误差，使用不同的分组特征G表示，颜色的深浅分别代表了三种不同的分组方法：质心分组、无质心的特征分组，以及有质心的特征分组。

为了验证ShapeSplat数据集和Gaussian-MAE方法的有效性，作者进行了广泛的实验。实验结果显示，在分类和分割任务中，Gaussian-MAE方法显著优于其他传统的3D表示方法。特别是在没有GPU加速的情况下，Gaussian-MAE仍然能够与离线深度学习方法相媲美，证明了其高效性。此外，实验还展示了高斯特征分组与Splat池化层在提高计算效率和保持高质量重建方面的优越性。

表3. ModelNet 和 ScanObjectNN 上的泛化实验（总体准确率 ↑ [%]）

图7. 高斯特征分组和分块池化层的消融实验。包含高斯特征分组和分块池化层后，ModelNet10 上的分类准确率在不同嵌入特征下显著提高。

图8. 输入维度对高斯特征分组和分块池化层的影响。更高的输入维度在这两个模块上持续提高分类准确率。

表4. ShapeNet-Part 上的部件分割。表示在高斯分布上预训练的模型并在点云上测试。报告了类别 mIoU (mIoUC) 和实例 mIoU (mIoUI)。高斯-MAE 在 mIoUC 上提高了 0.4%。

表5. 关于分块数量和掩码比例的消融实验

作者提出了ShapeSplat数据集，该数据集支持在3DGS参数上直接进行掩码预训练。实验表明，将高斯质心简单地作为点云来处理，在下游任务中表现并不理想。相比之下Gaussian-MAE方法通过高效聚合特征（使用高斯特征分组和Splat池化层）表现出色，我们希望这项工作能为自监督3D表示学习开辟一条新的路径。