0. 论文信息
标题：EasySplat: View-Adaptive Learning makes 3D Gaussian Splatting Easy
作者：Ao Gao, Luosong Guo, Tao Chen, Zhao Wang, Ying Tai, Jian Yang, Zhenyu Zhang
机构：Nanjing University、Nanjing University of Aeronautics and Astronautics、China Mobile
原文链接：https://arxiv.org/abs/2501.01003
1. 导读
三维高斯分布技术已经获得了令人满意的三维场景表现。尽管它们的性能令人印象深刻，但由于从运动中构造(SfM)方法在获得精确的场景初始化方面的限制，或者致密化策略的低效，它们面临着挑战。本文介绍了一种新的框架EasySplat来实现高质量的3DGS建模。我们没有使用SfM进行场景初始化，而是采用了一种新的方法来释放大规模点地图方法的能力。具体而言，我们提出了一种基于视图相似性的高效分组策略，并使用鲁棒的点地图先验来获得高质量的点云和相机姿态，用于3D场景初始化。在获得可靠的场景结构后，我们提出了一种新的基于相邻高斯椭球的平均形状，利用KNN方案自适应分割高斯图元的加密方法。通过这种方式，所提出的方法解决了初始化和优化的限制，导致高效和精确的3DGS建模。大量实验表明，EasySplat在处理新视图合成方面优于当前最先进的(SOTA)。
2. 效果展示
与现有方法的比较。(a)与其他最先进的SOTA方法相比，我们的方法在渲染质量方面表现最佳。(b)与香草3DGS中常用的常规密集化方法相比，我们的基于KNN的密集化方法有效地在初始点云不足的区域生长点，从而产生更准确和详细的结果。
我们的方法产生了更多高质量和详细的图像。
3. 引言
新颖视角合成（NVS）是计算机视觉和计算机图形学中的一项具有挑战性的任务。近年来，神经渲染技术因其实现高度逼真渲染的卓越能力而备受瞩目。在这些技术中，采用显式点云表示的3D高斯溅射（3DGS）在渲染质量和速度方面均表现出最先进的性能。
3DGS使用结构从运动（SfM）方法COLMAP，从数百张图像中提取相机姿态和初始稀疏点云，并通过可微光栅化器实现实时逼真渲染。尽管3DGS在新颖视角合成方面表现出高质量的性能，但由于两大局限性，它通常会生成带噪声的高斯分布。一个原因是使用SfM作为初始化方法，由于SfM对特征提取错误敏感且难以处理无纹理场景，导致点云中引入噪声，显著降低了最终视角合成和渲染质量。最近，基于点图的立体视觉（MVS）模型DUSt3R在密集3D重建方面表现出色。通过采用基于Transformer模型的端到端估计过程，DUSt3R可以轻松获得成对点图，这些点图可用于表示两幅图像之间的几何关系。InstantSplat利用DUSt3R进行初始化，从稀疏视角学习3DGS。然而，它依赖于在视图之间构建完整的连通图，由于时间和空间成本显著，限制了其在密集视角场景中的应用。因此，如何为3DGS执行合适的场景初始化或估计相机姿态仍然是一个悬而未决的问题。
除了初始化之外，3DGS中的训练策略也是导致性能欠佳的另一个原因。由于SfM技术通常无法在无纹理区域生成足够的3D点，3DGS实现了自适应密度控制（ADC）算法来管理高斯基元。该算法基于视图平均梯度幅度阈值定期执行点加密和剪枝。然而，约束较少的加密无法在有效地在初始点云稀疏的区域中增加点，最终降低了渲染质量。为了克服这些局限性，提出了ScaffoldGS和OctreeGS，通过引入基于锚点的结构来动态生成神经高斯分布。此外，Mip-Splatting引入了低通滤波来解决高频伪影问题。
推荐课程：
实时400FPS！高精NeRF/Gaussian SLAM定位与建图
。
在本文中，我们提出了EasySplat框架，以实现高质量的新颖视角合成。具体而言，我们为密集视角场景的初始化引入了一种基于图像相似性的自适应分组策略。随后，我们使用K最近邻（KNN）算法为每个单独的高斯分布找到N个最近的高斯分布。然后，我们计算这些相邻高斯分布的平均形状。通过比较高斯形状与计算出的平均形状之间的差异，我们确定给定的高斯分布是否应被细分。我们基于KNN的加密方法有效地在无足够初始点的区域中加密了高斯分布。通过这种方式，我们提出的新型3DGS学习框架释放了大规模MVS模型的潜力，提高了NVS效率和性能。
4. 主要贡献
我们的贡献如下：
• 我们提出了EasySplat，这是一个基于3D高斯溅射的NVS框架，在NVS渲染质量和训练速度方面优于最先进技术。
• 我们提出了一种新颖的视角自适应分组策略，并利用强大的点图先验来构建成对点图，从而实现点云和相机姿态的精确初始化。
• 我们开发了一种使用KNN算法的自适应加密策略，该策略根据每个高斯分布相邻椭球体的形状差异动态触发加密，从而实现稳健的新颖视角合成。
5. 方法
我们首先介绍EasySplat的总体框架，该框架可以通过N张未定位的图像生成准确的3D重建表示。如图2所示，给定N张具有未知姿态的图像，它们将首先通过分组初始化策略处理，以获得全局对齐的姿态和全局点云。随后，利用全局点云初始化3D高斯椭球体。在加密阶段，我们使用K最近邻（KNN）搜索每个高斯分布的K个最近椭球体，通过比较形状差异来确定是否应拆分高斯分布。以下各节将详细阐述这两种关键策略的实现细节。
6. 实验结果
7. 总结 & 未来工作
在这篇论文中，我们提出了EasySplat，这是一个强大而高效的基于3DGS的新视图合成(NVS)框架。为了解决香草3DGS中SfM导致的稀疏点云初始化不准确的问题，EasySplat使用了一种有效的基于点图的先验模型进行初始化。为了释放点图在密集视图场景中的潜力，我们提出了一种基于组的初始化策略。此外，为了提高NVS的性能，我们提出了一种基于KNN算法的密集化方案。大量实验证明，EasySplat达到了SOTA性能。在未来，这项工作可以扩展到支持稀疏和密集的视图设置，从而建立一个通用的3DGS范式。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
本文仅做学术分享，如有侵权，请联系删文。
3D视觉交流群，成立啦！
目前我们已经建立了3D视觉方向多个社群，包括
2D计算机视觉
、
最前沿
、
工业3D视觉
、
SLAM
、
自动驾驶
、
三维重建
、
无人机
等方向，细分群包括：
工业3D视觉
：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM
：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶
：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
三维重建
：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
无人机
：四旋翼建模、无人机飞控等
2D计算机视觉
：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
最前沿
：具身智能、大模型、Mamba、扩散模型、图像/视频生成等
除了这些，还有
求职
、
硬件选型
、
视觉产品落地、产品、行业新闻
等交流群
添加小助理: cv3d001，备注：
研究方向+学校/公司+昵称
（如
3D点云+清华+小草莓
）, 拉你入群。
▲长按扫码添加助理：cv3d001
3D视觉工坊知识星球
「3D视觉从入门到精通」知识星球
(
点开有惊喜
)
，已沉淀6年，星球内资料包括：
