点击下方
卡片
，关注
「3DCV」
公众号
选择
星标
，干货第一时间送达
来源：3DCV
添加小助理：cv3d001，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群。
扫描下方二维码，加入
「3D视觉从入门到精通」知识星球
(
点开有惊喜
)
，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：
近20门独家秘制视频课程
、
最新顶会论文
、计算机视觉书籍
、
优质3D视觉算法源码
等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！
0. 论文信息
标题：Deformable Beta Splatting
作者：Rong Liu, Dylan Sun, Meida Chen, Yue Wang, Andrew Feng
机构：University of Southern California
原文链接：https://arxiv.org/abs/2501.18630
1. 导读
3D Gaussian Splatting (3DGS)通过实现实时渲染，具有高级辐射场重建功能。然而，它对几何图形的高斯核和颜色编码的低阶球谐函数(SH)的依赖限制了它捕捉复杂几何图形和多样颜色的能力。我们引入了可变形Beta Splatting (DBS)，这是一种可变形的紧凑方法，可以增强几何形状和颜色表示。DBS用可变形的贝塔核取代高斯核，贝塔核提供有限的支持和自适应频率控制，以更高的保真度捕捉精细的几何细节，同时实现更好的存储效率。此外，我们将Beta内核扩展到颜色编码，这有助于改善漫反射和镜面反射分量的表示，与基于SH的方法相比，可以产生更好的结果。此外，与依赖于高斯属性的现有致密化技术不同，我们从数学上证明了单独调整正则化不透明度可以确保分布保持的马尔可夫链蒙特卡罗(MCMC ),而与splatting核类型无关。实验结果表明，与基于3DGS的方法相比，DBS实现了最先进的视觉质量，同时仅利用了45%的参数，渲染速度提高了1.5倍。值得注意的是，基于splatting的方法首次超过了最先进的神经辐射场，突出了DBS在实时辐射场渲染方面的卓越性能和效率。
2. 效果展示
通过Beta splatting进行高级场景重建。我们的可变形Beta内核实现了高精度的几何和外观表示(a)，同时自然地实现了表面几何与纹理细节的解耦(b)以及镜面和漫射照明的分离(c)。
几何分解:我们设计的Beta内核提供了将场景几何分解为基本结构和复杂细节的能力，例如高频纹理和精细表面变化。
定性比较:利用我们的可变形贝塔核、球形贝塔颜色编码和内核无关的MCMC优化过程，可变形贝塔分层框架在定性上优于隐式SOTA方法(Zp-NeRF)和显式SOTA方法(3DGS-MCMC)。
3. 主要贡献
(1)贝塔核用于几何表示:一个有界、可弯曲的核，通过准确捕捉平坦表面、锐利边缘和光滑区域来提高几何逼真度。
推荐课程：
实时400FPS！高精NeRF/Gaussian SLAM定位与建图
。
(2)球形贝塔颜色编码:一个高效的视图依赖颜色模型，解耦扩散和镜面组分，以更少的参数实现锐利的镜面亮点。
(3)不依赖内核的MCMC优化:一种利用正则化不透明性和重新定义的Beta噪声函数来保持分布的密集化方法，共同提高优化稳定性和效率，不依赖于内核形状。
4. 实验结果
5. 总结 & 局限性
我们提出了可变形贝塔插值(DBS)方法，这是一种通过三个关键创新来推进实时光场渲染的新方法:自适应几何表示的可变形贝塔内核、高效的视向依赖色彩编码的球形贝塔以及仅依赖正则化不透明度来提高优化稳定性和效率的MCMC内核无关方法。这些创新使得DBS能够以比先前方法更少的内存和计算资源实现卓越的视觉质量。
局限性。由于我们的框架是基于光栅化的，因此在排序过程中，由于深度近似不准确，偶尔会产生“弹跳效果。虽然自适应，但球形贝塔函数难以有效建模镜面反射和各向异性的镜面高光。此外，柱面模型导致贝塔内核为远处的背景优化平面几何，这影响了整体的贝塔几何分布。这些局限性为框架的进一步改进和增强提供了机会。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
本文仅做学术分享，如有侵权，请联系删文。
3D视觉交流群，成立啦！
目前我们已经建立了3D视觉方向多个社群，包括
2D计算机视觉
、
最前沿
、
工业3D视觉
、
SLAM
、
自动驾驶
、
三维重建
、
无人机
等方向，细分群包括：
工业3D视觉
：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM
：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶
：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
三维重建
：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等。
无人机
：四旋翼建模、无人机飞控等
2D计算机视觉
：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
最前沿
：具身智能、大模型、Mamba、扩散模型、图像/视频生成等
除了这些，还有
求职
、
硬件选型
、
视觉产品落地、产品、行业新闻
等交流群
添加小助理: cv3d001，备注：
研究方向+学校/公司+昵称
（如
3D点云+清华+小草莓
）, 拉你入群。
▲长按扫码添加助理：cv3d001
3D视觉工坊知识星球
「3D视觉从入门到精通」知识星球
(
点开有惊喜
)
，已沉淀6年，星球内资料包括：
秘制视频课程近20门
（包括
结构光三维重建、相机标定、SLAM、深度估计、3D目标检测、3DGS顶会带读课程、三维点云
等）、
项目对接
、
3D视觉学习路线总结
、
最新顶会论文&代码
