点击上方“
3DCV
”，选择“星标”
干货第一时间送达
内容来自知乎，「3DCV」整理，如有侵权请联系删除
https://www.zhihu.com/question/341350546
作者：
冷冷的夏
最近也算是三维重建入门了，所以回顾一下自己的学习历程。
结论：目前图像的三维重建都是于相机模型和
三角测量
实现的（还有一些其他的方法，因为没看过，就先算了）。
第一步主要是图像处理等相关知识的学习，主要包括图像特征（点，线，任意物体）的提取。其中可以自己动手写写代码的，特别是
霍夫变换
的任意物体的提取，我自己是写了一遍收益匪浅。当然目前的深度学习也可以学习学习，我在学习
sift
这篇论文的时候，给我感觉就是深度学习的过程，但是这里的学习是人自己的
先验知识
，因此基于深度学习的特征点提取我是特别看好的（比如D2-Net)。如果是急于想做出效果，这里只需要学习
sift特征提取
（opencv里是有代码的）。
第二步就是相机模型的学习。相机模型的学习是了解三维空间点到成像平面二维点的一个映射物理模型，既然是物理模型，就有参数因此需要对
相机标定
，相机标定是一个比较综合的过程，可以看张正友的平面标定论文，然后自己动手编程实现，标定的最后一步是需要优化的，这里可以补补优化的知识，也可以尝试用
ceres
做优化，也可以自己写一些bundle adjustment 感受一下矩阵稀疏带来的加速效果。
第三步就是三维重建了。通过前面的相机模型的学习可以看出，在成像的过程深度信息是丢失的。因此常见的结构是
双目系统
（或者projector-camera system),本质都利用
三角化
来恢复深度。这里还有一个关键是立体匹配，就是同一空间点在不同图片上的位置。前面说的sift可以提供比较粗劣的效果，为了提高精度一般都是sift匹配提供初始的匹配，接下来还是需要优化的（我学习的有pathmatch)。当然在工业测量中，
结构光
被用来辅助这种像素匹配，结构光（这里有很多技巧）给每个像素唯一的身份，其实就类似sift但是他更准确，这样用来匹配更加准确，匹配好三角测量就可以得到
点云
了。
前面说的必须二个相机才能重建其实对也不对，我们也可以让一个相机动起来，这就是structure from motion.这里需要学习一些极线几何的知识，本质矩阵
基础矩阵
啥的，不要给名字吓到，这些只是表述变量的关系，需要注意的是，这里重建出的物体是缺乏尺度的。
最后这些过程需要对刚体变换熟记于心（本质就是R T)，这里对于新手容易混淆。
最后的最后就是这些值得做的点：第一就是高精度的三维重建，第二就是大规模的三维重建，第三是非刚体的
structure from motion
,第四是动态三维重建。这些方向我觉得都值得做，虽然我一个都不会。
本文仅做学术分享，如有侵权，请联系删文。
3D视觉交流群，成立啦！
目前我们已经建立了3D视觉方向多个社群，包括
2D计算机视觉
、
最前沿
、
工业3D视觉
、
SLAM
、
自动驾驶
、
三维重建
、
无人机
等方向，细分群包括：
工业3D视觉
：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM
：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
三维重建
：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
无人机
：四旋翼建模、无人机飞控等
2D计算机视觉
：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
最前沿
：具身智能、大模型、Mamba、扩散模型等
除了这些，还有
求职
、
硬件选型
、
视觉产品落地、产品、行业新闻
等交流群
添加小助理: dddvision，备注：
研究方向+学校/公司+昵称
（如
3D点云+清华+小草莓
）, 拉你入群。
▲长按扫码添加助理：cv3d008
「
3D视觉从入门到精通
」
知识星球
「3D视觉从入门到精通」知识星球
，已沉淀6年，星球内资料包括：
秘制视频课程近20门
（包括
结构光三维重建、相机标定、SLAM、深度估计、3D目标检测、3DGS顶会带读课程、三维点云
等）、
项目对接
、
3D视觉学习路线总结
、
最新顶会论文&代码
、
3D视觉行业最新模组
、
3D视觉优质源码汇总
、
书籍推荐
、
编程基础&学习工具
、
实战项目&作业
