0. 笔者个人体会
最近3D Gaussian Splatting真的是太火了，由于它能够在实现NeRF的同时引入传统光栅化，极大地加快了NeRF的渲染速度。可以说很大程度上影响了NeRF的发展方向，也催生了很多相关的研究。
但也有人发现，当改变焦距或相机距离时，3D Gaussian Splatting可以观察到强烈的伪影。本文将为大家介绍一种最新的开源算法Mip-Splatting来解决这个问题，主要思想是引入3D频率约束和2D膨胀滤波器。
下面一起来阅读一下这项工作，文末附论文和代码链接~
这里我们NeRF交流群成立了，欢迎加入！
1. 效果展示
先来看看具体的问题描述，3D Gaussian Splatting通过将3D物体表示为3D高斯投影到图像平面，然后在屏幕空间中进行2D膨胀来渲染图像（a）。3D GS的内在收缩偏差导致退化的3D高斯超过采样极限（b），同时由于膨胀操作而呈现类似于2D的效果。当改变采样率（也就是改变焦距或相机距离）时，可以观察到强烈的膨胀效应（c）和高频伪影（d）。
那么Mip-Splatting干了啥呢？
一句话总结：Mip-Splatting为3D GS引入了3D平滑滤波器和2D Mip滤波器，消除了多个伪影。
再看看Mip-Splatting和3DGS+EWA的对比，这个伪影效果很明显。
官方主页上有很多demo，感兴趣的读者可以进一步观察实验结果。
2. 具体原理是什么？
Mip-Splatting为3DGS引入了一种3D平滑滤波器，以有效地正则化3D高斯基元的最大频率，从而消除放大时的高频伪影，并用2D Mip filter替代2D dilation filter，以解决混叠和膨胀伪影。Mip-Splatting可以实现任意尺度下的无混叠渲染，3D平滑滤波器可以有效地限制高斯基元的最大频率，以匹配训练图像施加的采样约束，而2D Mip filter近似box滤波器，可以模拟物理成像过程。
3. 和其他SOTA方法对比如何？
Blender数据集上的多尺度训练和多尺度测试，Mip-Splatting在大多数指标上都达到了最优性能，显著优于3DGS和3DGS+EWA。
在Blender数据集上进行单尺度训练和多尺度测试，所有方法都在全分辨率下训练，然后在较小分辨率下进行评估，以模拟放大效果。Mip-Splatting在低分辨率下优于3DGS和3DGS+EWA。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
4. 论文信息
标题：Mip-Splatting: Alias-free 3D Gaussian Splatting
作者：Zehao Yu, Anpei Chen, Binbin Huang, Torsten Sattler, Andreas Geiger
机构：图宾根大学、图宾根人工智能中心、上海科技大学、捷克科技大学
原文链接：https://arxiv.org/abs/2311.16493
代码链接：https://github.com/autonomousvision/mip-splatting
官方主页：https://niujinshuchong.github.io/mip-splatting/
我是泡椒味的口香糖，专注于CV和SLAM领域。这里有最新的前沿理论，有大佬答疑解惑，还有全网最全的免费视频课程！如果你也是一个人在孤独地摸索学习，那就欢迎扫码加入我们，一起交流学习~
下载1
在公众号「3D视觉工坊」后台，回复「3d001」,即可获取工业3D视觉（结构光、缺陷检测、三维点云）、SLAM（视觉/激光SLAM）、自动驾驶、三维重建、事件相机、无人机等近千余篇最新顶会论文。
下载2
在公众号「3D视觉工坊」后台，回复「3d002」,即可获取巴塞罗那自治大学3D视觉课件、慕尼黑工业大学3D视觉和视觉导航精品课件。
下载3
在公众号「3D视觉工坊」后台，回复「3d003」,即可获取相机标定、结构光、三维重建、激光-视觉-IMU-GPS多模态融合SLAM、LOAM、ORB-SLAM3，深度估计、模型部署、3D目标检测等学习课件。注：非完整版。
计算机视觉方向交流群成立啦
目前咱们计算机视觉工坊已经建立了多个社群，包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机方向，细分群包括：
[工业3D视觉]相机标定、立体匹配、三维点云、结构光(面/线/散斑)、机械臂抓取（2D/3D）、2D缺陷检测、3D缺陷检测、6D位姿估计、相位偏折术、Halcon、光场重建、摄影测量、阵列相机、偏振三维测量、光度立体视觉、激光雷达、综合群等。
[SLAM]视觉SLAM、激光SLAM、ORB-SLAM、Vins-Fusion、LOAM/LeGo-LOAM、cartographer、VIO、语义SLAM、滤波算法、多传感器融合、多传感器标定、MSCKF、动态SLAM、MOT SLAM、NeRF SLAM、FAST-LIO、LVI-SAM、LIO-SAM、事件相机/GPS/RTK/UWB/IMU/码盘/TOF（iToF/dToF）/激光雷达/气压计/毫米波雷达/RGB-D相机/超声波等、机器人导航、综合群等。
[自动驾驶]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪、综合群等。
[三维重建]NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
[无人机]四旋翼建模、无人机飞控等
除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群
大家可以添加小助理微信: dddvision，备注：加群+方向+学校|公司, 小助理会拉你入群。
添加小助理微信：dddvision，加群+方向+学校|公司，拉你入群加入知识星球，与6000多位同行一起进步
「3D视觉从入门到精通」知识星球，依托于微信公众号「3D视觉工坊」、「计算机视觉工坊」、「3DCV」平台，星球内除了包含3D视觉独家秘制视频课程（近20门，包括三维重建、三维点云、手眼标定、相机标定、3D目标检测、深度估计、ORB-SLAM3、Vins-Fusion、激光-视觉-IMU-GPS融合、机械臂抓取等）、3D视觉项目对接、3D视觉学习路线、最新论文&代码分享、入门书籍推荐、源码汇总、最新行业模组分享、编程基础&作业、求职招聘&面经&面试题等，更有各类大厂的算法工程人员进行技术指导。目前星球铁杆粉丝已近6000+，让我们一起探索更其妙的3D视觉技术、为祖国的创新发展贡献自己的一份力。知识星球入口：3D视觉从入门到精通
