一把全做了！康奈尔提出自校准框架：联合优化相机参数、镜头畸变和3D高斯表示

广角相机重建精度依赖内参

近年来，3D场景重建的进展，如神经辐射场（NeRFs）和高斯喷溅（3DGS），在高质量新视角合成（NVS）方面取得了显著成功。然而，这些方法通常需要密集的图像捕捉、相对狭窄的视场（FOV）以及通过结构光束法（SfM）技术精确估计的相机姿态。在实际应用中，广视场镜头（如鱼眼镜头）常用于机器人和虚拟现实等领域，因为它们通过较少的图像捕捉场景的更大区域，从而实现更快速的数据采集和重建。然而，这些镜头会引入显著的几何畸变，使得相机校准和场景重建变得具有挑战性。

有时，广角成像系统的内在属性可以通过使用特殊的设置（如覆盖着校准标记的房间）进行预校准。但这些过程可能是缓慢且繁琐的。多项式相机畸变模型（例如在OpenCV中实现的）对于标准镜头效果良好，但难以处理鱼眼光学镜头的复杂非线性畸变。因此，许多框架要求先将鱼眼图像“去畸变”为透视图像，之后再进行重建，结果是图像的拉伸和/或裁剪，正如图2所示。

为了应对这些挑战，我们探讨了自校准技术，联合优化相机参数和3D场景表示。这些方法源自于没有显式校准目标的相机校准方法。近年来，自校准已被集成到辐射场和3D高斯框架中，其中光度损失被用来细化外部和内部参数。然而，这些方法仍然无法准确建模广视场图像中典型的复杂镜头畸变，尤其在周边区域会出现明显的对齐伪影。

本文介绍 自校准3D高斯喷溅[1]（Self-Calibrating 3D Gaussian Splatting），这是一种可微分的光栅化流水线，通过优化相机镜头畸变和使用3D高斯的场景表示来实现 。我们的方法设计足够表达复杂的畸变，同时保持计算效率，并且经过正则化处理以保证稳定的训练。过去的方法尝试使用基于网格的光线偏移或可逆神经网络来处理镜头畸变。尽管基于网格的方法速度较快，但当仅通过光度损失进行监督时，往往会产生噪声和不稳定的结果。相比之下，基于神经网络的方法提供了更好的正则化，但当应用于每个独立的高斯时，其计算开销非常大。

项目链接 ：https://denghilbert.github.io/self-cali/

为了克服这些限制，我们提出了一种新型的混合神经场，它结合了两种方法的优势，在表达能力和计算效率之间取得了平衡。如图3所示，我们的方法采用可逆残差网络（Residual Networks）来预测标准化稀疏网格上的位移，然后通过双线性插值生成连续的畸变场。

对于大视场的图像，使用简单的单一平面投影会导致严重的像素拉伸和畸变，尤其在外围区域。为此，我们引入了一种基于立方体映射的重采样策略，该策略均匀分配图像数据到立方体映射的每个面上。这种方法显著减少了畸变伪影，并提供了清晰且相对不畸变的全向视图，从而在整个视场内保持像素分辨率。

我们通过在合成数据集和多个现实世界场景上的大量实验，验证了我们方法的有效性。我们的系统有效地校准了相机参数和镜头畸变，并在使用未校准的鱼眼相机时，相较于现有方法，展示了更优秀的高斯喷溅性能。重要的是，我们的参数化方法并不限于单一的鱼眼相机模型；它旨在灵活适应多种相机模型和真实世界畸变，无需预校准。这种灵活性使我们的技术能够充分利用每种可用镜头的独特能力，实现快速的场景捕捉和全面的覆盖。

具体方法

给定未校准的广角图像，旨在开发一种算法，通过使用3D高斯表示来产生高质量的重建。本方法设计上能够抵抗图像外围区域的严重畸变以及各种广角镜头效应。通过两个关键步骤来实现这一目标。

1. 首先，扩展了高斯喷溅（Gaussian Splatting）技术， 支持更广泛的相机模型 ，例如鱼眼镜头，来建模镜头畸变。
2. 第二，用立方体映射（cubemaps）替代了传统的单一平面投影，并相应地引入了 深度排序策略 。

镜头畸变建模

在本节中，我们扩展了高斯喷溅技术，支持更广泛的相机镜头，包括鱼眼镜头和广角镜头，通过建模镜头畸变。镜头畸变通常通过定义在相机坐标中的畸变函数来捕捉。畸变函数 ，由 参数化，映射从校正图像到畸变图像的位置。理想情况下，映射 应满足以下条件：1）具有足够的表现力，能够建模各种镜头畸变；2）正则化良好，能够与 3D 场景一起优化；3）高效，不增加显著的计算开销。虽然现有的方法探讨了使用参数化相机模型、基于网格的方法和深度学习方法，但这些方法都没有完全满足这三项标准。

基于网格的方法 ：实现通用相机模型的最简单方式是显式地优化像素坐标网格中的畸变，并通过双线性插值提取连续的畸变场：

其中，优化参数 是一个 的网格，存储表示畸变的二维向量。插值函数 ，其中