ICLR'25 | 3D GS要被替代？何恺明重磅新作TetSphere Splatting：四面体才是高质量3D重建的最优表示

0. 论文信息

标题：TetSphere Splatting: Representing High-Quality Geometry with Lagrangian Volumetric Meshes

作者：Minghao Guo, Bohan Wang, Kaiming He, Wojciech Matusik

机构：MIT CSAIL

原文链接：https://arxiv.org/abs/2405.20283

1. 导读

我们介绍了TetSphere Splatting，这是一种为高质量3D形状建模而设计的拉格朗日几何表示。TetSphere splatting利用了一个未被充分利用但功能强大的几何图元——体积四面体网格。它通过变形四面体球体的集合来表示3D形状，具有几何规则和约束，可以有效地解决常见的网格问题，如不规则三角形、非流形和浮动伪影。多视图和单视图重建的实验结果突出了TetSphere splatting的卓越网格质量，同时保持了与最先进方法相比具有竞争力的重建精度。此外，TetSphere splatting通过无缝集成到创成式建模任务中，如图像到3D和文本到3D的生成，展示了多功能性。

2. 效果展示

(a)欧拉几何与拉格朗日几何表示:与依赖于固定网格的欧拉方法相比，TetSphere splatting是一种拉格朗日方法，它使用一组体积四面体球体来变形以表示几何形状。TetSphere splatting支持重建、图像到3D和文本到3D生成等应用(b-d)。

广泛使用的形状表示的网格质量的视觉比较，包括NeRF、FlexiCubes (欧拉系)、DMesh(Son和高斯插值)(拉格朗日系)。这些方法表现出网格质量问题，如不规则或退化三角形、非流形性和浮动效果。我们的方法展示了均匀的表面三角形、改进的网格质量和结构完整性。

3. 主要贡献

与Gaussian splatting类似，我们的方法“splat”TetSpheres以符合目标形状。我们将TetSphere的变形定义为几何能量优化问题，包括可导的渲染损失、变形梯度场的双调和能量和非逆约束，所有这些都可以通过梯度下隆有效求解。为了评估，我们对两个任务进行了定量比较，以评估几何质量:多视图和单视图重建。除了常用的评估重建准确性的指标外，我们还引入了三个指标来评估网格质量，重点关注3D模型可用性的关键方面:表面三角形的均今性、流形性和结构完整性。与最先进的方法相比，TetSpheresplatting在保持对其他指标具有竞争力的性能的同时，展示了优越的网格质量。此外，为了展示其多功能性，我们展示了TetSphere splatting在从单张图像和文本生成3D形状的下游应用中的实用性。 推荐课程： 实时400FPS！高精NeRF/Gaussian SLAM定位与建图 。

4. 方法

我们使用四面体球作为首选的原始数据。与点云不同，四面体网格由于四面体化而在点之间强制结构化的局部连通性。这保持了3D形状的几何完整性，并通过在整个网格内部施加几何正则化来提高表面质量。我们通过Tet-Spheresplatting将形状重构定义为四面体球体的变形。从一组四面体球体开始，我们调整其顶点的位置，以使这些网格的渲染图像与相应的目标多视图图像对齐。顶点运动受到来自几何处理领域的四边形网格上的两个几何正则化的约束这些正则化通过双调和能量惩罚非光滑变形，并通过局部正则化防止网格元素的逆变换，已被证明可以有效确保生成的四边形网格具有优良的质量并保持结构完整性。图3说明了整个流程。

5. 实验结果

6. 总结 & 未来工作

我们引入了TetSphere splatting，这是一种用于高质量3D形状建模的拉格朗日几何表示。我们的计算框架利用几何能量优化和可微分渲染来将TetSpheres变形为复杂形状，产生的结果表明其网格质量优于最先进的方法。未来的工作可以扩展TetSpheresplatting，以利用体积数据的直接3D监督，消除对图像染的需要。TetSpheresplatting的当前局限性在于由于所有四面体球体的合并而无法保证拓扑结构的保持。这突显了未来形状生成技术的发展的必要性，这些技术可以更好地适应拓扑约束。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

本文仅做学术分享，如有侵权，请联系删文。

3D视觉交流群，成立啦！