ICLR'25 | 3D GS要被替代？何恺明重磅新作TetSphere Splatting：四面体才是高质量3D重建的最优表示

0. 论文信息

标题：TetSphere Splatting: Representing High-Quality Geometry with Lagrangian Volumetric Meshes

作者：Minghao Guo, Bohan Wang, Kaiming He, Wojciech Matusik

机构：MIT CSAIL

原文链接：https://arxiv.org/abs/2405.20283

1. 导读

我们介绍了TetSphere Splatting，这是一种为高质量3D形状建模而设计的拉格朗日几何表示。TetSphere splatting利用了一个未被充分利用但功能强大的几何图元——体积四面体网格。它通过变形四面体球体的集合来表示3D形状，具有几何规则和约束，可以有效地解决常见的网格问题，如不规则三角形、非流形和浮动伪影。多视图和单视图重建的实验结果突出了TetSphere splatting的卓越网格质量，同时保持了与最先进方法相比具有竞争力的重建精度。此外，TetSphere splatting通过无缝集成到创成式建模任务中，如图像到3D和文本到3D的生成，展示了多功能性。

2. 效果展示

(a)欧拉几何与拉格朗日几何表示:与依赖于固定网格的欧拉方法相比，TetSphere splatting是一种拉格朗日方法，它使用一组体积四面体球体来变形以表示几何形状。TetSphere splatting支持重建、图像到3D和文本到3D生成等应用(b-d)。

广泛使用的形状表示的网格质量的视觉比较，包括NeRF、FlexiCubes (欧拉系)、DMesh(Son和高斯插值)(拉格朗日系)。这些方法表现出网格质量问题，如不规则或退化三角形、非流形性和浮动效果。我们的方法展示了均匀的表面三角形、改进的网格质量和结构完整性。

3. 主要贡献

与Gaussian splatting类似，我们的方法“splat”TetSpheres以符合目标形状。我们将TetSphere的变形定义为几何能量优化问题，包括可导的渲染损失、变形梯度场的双调和能量和非逆约束，所有这些都可以通过梯度下隆有效求解。为了评估，我们对两个任务进行了定量比较，以评估几何质量:多视图和单视图重建。除了常用的评估重建准确性的指标外，我们还引入了三个指标来评估网格质量，重点关注3D模型可用性的关键方面:表面三角形的均今性、流形性和结构完整性。与最先进的方法相比，TetSpheresplatting在保持对其他指标具有竞争力的性能的同时，展示了优越的网格质量。此外，为了展示其多功能性，我们展示了TetSphere splatting在从单张图像和文本生成3D形状的下游应用中的实用性。 推荐课程： 实时400FPS！高精NeRF/Gaussian SLAM定位与建图 。

4. 方法

我们使用四面体球作为首选的原始数据。与点云不同，四面体网格由于四面体化而在点之间强制结构化的局部连通性。这保持了3D形状的几何完整性，并通过在整个网格内部施加几何正则化来提高表面质量。我们通过Tet-Spheresplatting将形状重构定义为四面体球体的变形。从一组四面体球体开始，我们调整其顶点的位置，以使这些网格的渲染图像与相应的目标多视图图像对齐。顶点运动受到来自几何处理领域的四边形网格上的两个几何正则化的约束这些正则化通过双调和能量惩罚非光滑变形，并通过局部正则化防止网格元素的逆变换，已被证明可以有效确保生成的四边形网格具有优良的质量并保持结构完整性。图3说明了整个流程。

5. 实验结果

6. 总结 & 未来工作

我们引入了TetSphere splatting，这是一种用于高质量3D形状建模的拉格朗日几何表示。我们的计算框架利用几何能量优化和可微分渲染来将TetSpheres变形为复杂形状，产生的结果表明其网格质量优于最先进的方法。未来的工作可以扩展TetSpheresplatting，以利用体积数据的直接3D监督，消除对图像染的需要。TetSpheresplatting的当前局限性在于由于所有四面体球体的合并而无法保证拓扑结构的保持。这突显了未来形状生成技术的发展的必要性，这些技术可以更好地适应拓扑约束。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

本文仅做学术分享，如有侵权，请联系删文。

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括 2D计算机视觉 、 最前沿 、 工业3D视觉 、 SLAM 、 自动驾驶 、 三维重建 、 无人机 等方向，细分群包括：

工业3D视觉 ：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM ：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶 ：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建 ：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机 ：四旋翼建模、无人机飞控等

2D计算机视觉 ：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿 ：具身智能、大模型、Mamba、扩散模型、图像/视频生成等

除了这些，还有 求职 、 硬件选型 、 视觉产品落地、产品、行业新闻 等交流群

添加小助理: cv3d001，备注： 研究方向+学校/公司+昵称 （如 3D点云+清华+小草莓 ）, 拉你入群。

3D视觉工坊知识星球

「3D视觉从入门到精通」知识星球 ( 点开有惊喜 ) ，已沉淀6年，星球内资料包括： 秘制视频课程近20门 （包括 结构光三维重建、相机标定、SLAM、深度估计、3D目标检测、3DGS顶会带读课程、三维点云 等）、 项目对接 、 3D视觉学习路线总结 、 最新顶会论文&代码 、 3D视觉行业最新模组 、 3D视觉优质源码汇总 、 书籍推荐 、 编程基础&学习工具 、 实战项目&作业 、 求职招聘&面经&面试题 等等。欢迎加入3D视觉从入门到精通知识星球，一起学习进步。

大模型、扩散模型、具身智能、3DGS、NeRF 、 结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测 、 BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制 、 无人机仿真 、 C++、三维视觉python、dToF、相机标定、ROS2 、 机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap 、线面结构光、硬件结构光扫描仪等。

点这里 👇 关注我，记得标星哦～