三维重建原理浅析-3D GAUSSIAN SPLATTING

[图片来自网络]

3D Gaussian Splatting，基于辐射场原理、三维高斯函数及瓦片栅格化(Tile-Based Rasterization)方法实现三维场景椭球体素显式表示与实时渲染。

模型框架

基于三维场景空间稀疏点云实例化三维高斯椭球体(Ellipsoids)，利用图像瓦片投影原理(Tile-Based Splatting)及相机光线方向椭球体光辐射量计算图像像素颜色，通过误差优化计算更新三维高斯参数，同时调控三维场景椭球体数量及形状。

[图片来自网络]

框架图，左侧，基于移动重建(SfM，Structure from Motion)算法、利用相机图像序列生成三维场景空间的稀疏点云，实例化以点云点位置作均值的三维高斯；居中，基于相机视锥区域及光辐射场原理计算相机光线方向三维高斯椭球体到相机图像空间的投影；右侧，基于瓦片渲染器(Differentiable Tile Rasterizer)计算投影像素对应的颜色。

优化控制(蓝线)，基于图像像素颜色误差及图像相似度误差进行优化计算，更新三维高斯参数，同时基于视域空间位置梯度(View Space Positional Gradients)等信息对三维高斯椭球体进行调控。

模型定义

一、三维高斯定义

[图片来自网络]

x，三维场景空间稀疏点云点位置向量。

Σ，协方差矩阵。

二、高斯投影

1、三维高斯协方差定义

三维高斯的协方差矩阵定义，基于椭球体轴缩放(Scaling)及旋转(Rotation)，以确保矩阵的物理意义及半正定性(Positive Semi-Definition)。

[图片来自网络]

R，旋转矩阵(Rotation Matrix)，四元数(Quaternion)表示。

S，缩放矩阵(Scaling Matrix)，三维向量(3D Vector)表示。

2、投影的协方差定义

三维高斯椭球体投影到相机二维图像空间椭圆的协方差。

[图片来自网络]

Σ'，二维图像空间椭圆的协方差。

J，相机投影变换的仿射近似的雅可比(Jacobian)。

W，相机视域变换(Viewing Transformation)。

三、像素颜色定义

[图片来自网络]

c i ，相机光线方向三维空间高斯椭球体颜色，基于球谐函数(SH，Spherical Harmonics)计算。

a i ，相机光线方向三维空间椭球体投影的不透明度(Opacity)，基于二维图像空间投影椭圆高斯与三维空间高斯椭球体的不透明度的乘积计算。

四、损失函数定义

[图片来自网络]

L1，均值误差(MAE，Mean Absolute Error)。

L D-SSIM ，图像相似度(D-SSIM，Displacement Structural Similarity Index Measure)。

优化计算时，基于链式规则分别计算Σ'对三维缩放向量及旋转四元数的导数。

优化控制

一、优化控制

[图片来自网络]

1、三维高斯实例化

定义三维高斯均值参数集(M)，基于相机图像序列与移动重建(SfM)生成三维场景稀疏点云。

定义协方差(S)、颜色(C)及不透明度(A)参数集，基于稀疏点云实例化三维高斯集。

2、优化计算

选择相机视域(V)及样本图像。

基于三维高斯及相机视域进行栅格化渲染得到投影图像(I)。

基于投影图像与样本图像的损失函数进行优化计算，通过随机梯度下降法反向传播更新三维高斯参数。

3、稠密控制

对三维高斯椭球体集进行裁剪调控。