专栏名称: 3D视觉工坊

1、OpenCV的技术传播； 2、3D点云与重建技术； 3、Vslam技术； 4、深度学习； 5、技术干货分享。

三维重建怎么入门？

3D视觉工坊 · 公众号 · · 2024-10-29 12:08

正文

点击上方“ 3D视觉工坊 ”，选择“星标”

干货第一时间送达

内容来自知乎，「3D视觉工坊」整理，如有侵权请联系删除 https://www.zhihu.com/question/341350546/

这题我会，我正在学习三维重建，所以分享一下经验、顺便做个阶段性总结，主要从nerf和3d gaussian splatting两块展开。

一、背景介绍

我是去年9月入学，实验室大方向是深度学习，主攻图像相关，所以实验室的显卡是充足的，有十六张。

在此基础上，我的师兄组了一个三维重建小组，通过一学期的论文讲解和代码复现等，我对三维重建有了一定的兴趣，因此确定该方向。

二、入门基础

刚开始学习的时候，我们是直接啃论文，所以对三维重建里面的很多基础概念不够清晰，所以首先需要分模块系统学习基础概念。

1、摄像几何

所谓摄像几何其实就是了解相机的成像原理，这个应该是初中物理知识，主要包括：

小孔成像：物体光线透光小孔在像平面有唯一投影

内参数：将摄像机坐标系下的坐标转换到像素平面所需要的参数矩阵。首先将摄像机坐标系下的物体坐标转换到像平面，然后将像平面系下的坐标转化到像素平面，主要影响因素是焦距、光圈

外参数：世界坐标系到摄像机坐标系所需的参数矩阵，主要影响因素是位置和朝向

2、三维重建基础

三维重建基础主要包括：

特征检测与匹配：获取的图像中检测关键点，并在多张图像匹配对应的特征点。

相机标定：估计摄影机的内参数和外参数。

结构从运动：分析多个图像中的运动和视角变化来重建三维结构。

我推荐b站上的一位up主，他的视频主要是北邮的教授深入浅出地讲解三维重建基础，我主要看了摄像机几何和三维重建基础部分，大家可以挑选的看，不用全刷，因为这主要是物理学和高等代数相关知识，可能会有点难以理解。

这个是课程概括：

三、NeRF

1、论文

有了一定的基础，我们就可以看论文了，我首推的论文还是NeRF，因为比较经典

这篇论文是Ben Mildenhall 等人在2020年的论文《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》中提出论文：https://www.matthewtancik.com/nerf

这篇论文和以往三维重建技术不同的是，它是一种神经隐式的方式建立三维模型；而之前的论文都是直接通过图像重建网格、点云或体素的三维模型。

其中最重要的，我认为是他们提出了一个神经辐射场的概念，将物理学中的辐射场概念引入到三维重建中。（辐射值就是体积密度，反映空间某点对光的吸收或散射强度）

此外他还提出了位置编码、体渲染和分层体积采样等概念，采用的网络结构是最简单的MLP，我就不详细说了，知乎上有很多非常棒的解读。

2、复现

nerf代码：https://github.com/bmild/nerfcolmap

请到「今天看啥」查看全文

推荐文章

电子商务研究中心 · 《2024跨境电商“百强榜”》候选名单出炉赶紧看看你家上榜了没？

14 小时前

蛋先生工作室 · 2025年2月7日鸡蛋收盘价

昨天

电子商务研究中心 · 铁路12306崩了？马蜂窝发布国内首个省级旅游AI智能体“AI游贵州” 《2024移动出行“百强榜”》发布|移动出行这一月

2 天前

电子商务研究中心 · 直播带货又“翻车”！辛巴公司被罚175万元原因竟然是...

2 天前

电商头条 · 马云突然现身，地点很意外

3 天前

文玩汇 · 几百块钱就买到的海黄是假货吗？

7 年前

比特币快讯 · 【比特大数据】2017-05-22 多空博弈趋于激烈中长期涨势仍未变

7 年前

西瓜君 · 微博CEO吐槽微博“蛇精病”，哪吒与变形金刚要结CP？

7 年前

Cocoa开发者社区 · 7 月份五大令人惊叹的 iOS 库

7 年前

刑事法库 · 重磅！全国首例公开监察委适用“留置”案的刑事判决书（全文发布）

7 年前