一句话总结：创建潜在表征，渲染高质量图像。
0. 论文信息
标题：Latent Radiance Fields with 3D-aware 2D Representations
作者：Chaoyi Zhou, Xi Liu, Feng Luo, Siyu Huang
机构：Clemson University
原文链接：https://arxiv.org/abs/2502.09613
代码链接：https://github.com/ChaoyiZh/latent-radiance-field
1. 导读
通过将2D特征提取到3D空间中，潜在的3D重建在增强3D语义理解和3D生成方面显示出巨大的前景。然而，现有方法难以解决2D特征空间和3D表示之间的域间隙，导致渲染性能下降。为了应对这一挑战，我们提出了一个新的框架，将三维意识整合到2D潜在空间。该框架包括三个阶段:(1)增强2D潜在表示的3D一致性的对应感知自动编码方法，(2)将这些3D感知2D表示提升到3D空间中的潜在辐射场(LRF)，以及(3)改善从渲染的2D表示的图像解码的VAE辐射场(VAE-RF)对准策略。大量实验表明，我们的方法在合成性能和跨不同室内和室外场景的跨数据集泛化能力方面优于当前最先进的潜在3D重建方法。据我们所知，这是第一次工作表明辐射场表示从2D潜在代表可以产生真实感三维重建性能。
2. 效果展示
这部作品实现了VAE潜能空间的辐射场表示，在无边界的户外场景上实现了逼真的三维重建效果。
渲染结果的视觉比较。我们的方法不仅可以对分布数据集质量的图像渲染，而且在不同数据集上表现出强大的泛化能力。
3. 主要贡献
·我们引入了一个新颖的框架，将3D意识整合到2D表示学习中，包括一个注意对齐的自编码方法和一个VAE-Radiance(VAE-RF)场对齐，以实现潜在空间中高质量的3D重建。
我们提出潜在辐射场(LRF)，以有效地将3D感知的2D表示提升为3D潜在场。
推荐课程：
扩散模型入门教程：数学原理、方法与应用
。
它代表了在3D重建任务中直接在潜在空间中构建辐射场表示的第一步。
·我们进行了广泛的实验，表明我们的方法在NVS、少拍NVS和3D生成任务中实现了卓越的逼真度和跨数据集可推广性。
4. 方法
在这项工作中，我们提出了一种方法来实现3D感知的2D表示，并在潜在空间中实现3D重建。我们的方法基于广泛使用的变分自编码器(VAE)和潜在扩散模型。为了增强VAE编码器和解码器的3D感知能力，我们提出了一个如图2所示的三阶段管道。
第一阶段通过新颖的潜在空间对应感知约束来改善VAE编码器的3D感知能力，使2D表示遵循几何一致性。
第二阶段构建一个潜在的辐射场(LRF)，以从3D感知的2D表示中代表3D场景;
第三阶段进一步介绍了一种VAE-Radiance Field(VAE-RF)对齐方法，以提高重建性能。
总的来说，我们的LRF能够在2D潜在空间中而不是在图像空间中实现3D重建它能够渲染高质量和逼真的新视图，甚至对于无限场景也是如此。
5. 实验结果
6. 总结 & 未来工作
本文介绍了隐式辐射场(LRF)，据我们所知，这是第一个在3D重建中直接在2D隐式空间中构建辐射场表示的工作。我们提出了一种将3D意识融入2D表示学习的新框架，其中包含了一种基于对应关系的自编码方法和一种VAE-Radiance Field(VAE-RF)对齐策略，以弥合2D隐式空间和自然3D空间之间的领域差距，从而显著提高我们的LRF的视觉质量。未来的工作将侧重于将我们的方法与更紧凑的3D表示高效的NVS、隐空间中的少量NVS以及探索其与潜在3D隐式扩散模型的应用结合。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
本文仅做学术分享，如有侵权，请联系删文。
3D视觉交流群，成立啦！
目前我们已经建立了3D视觉方向多个社群，包括
2D计算机视觉
、
最前沿
、
工业3D视觉
、
SLAM
、
自动驾驶
、
三维重建
、
无人机
等方向，细分群包括：
工业3D视觉
：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM
：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶
：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
三维重建
：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等。
无人机
：四旋翼建模、无人机飞控等
2D计算机视觉
：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
最前沿
：具身智能、大模型、Mamba、扩散模型、图像/视频生成等
除了这些，还有
求职
、
硬件选型
、
视觉产品落地、产品、行业新闻
等交流群
添加小助理: cv3d001，备注：
研究方向+学校/公司+昵称
（如
3D点云+清华+小草莓
）, 拉你入群。
▲长按扫码添加助理：cv3d001
3D视觉工坊知识星球
「3D视觉从入门到精通」知识星球
(
点开有惊喜
)
，已沉淀6年，星球内资料包括：
秘制视频课程近20门
（包括
结构光三维重建、相机标定、SLAM、深度估计、3D目标检测、3DGS顶会带读课程、三维点云
等）、
项目对接
