北航最新！基于条纹投影的半透明物体3D重建方法

标题： 3-D Shape Measurement of Translucent Objects Based on Fringe Projection
链接： https://ieeexplore.ieee.org/document/10364711

1、导读

条纹投影轮廓仪（FPP）因其非接触、无损、高精度、高速等优点，在各个领域得到了广泛的应用。然而，由于亚表面散射效应，FPP在对半透明物体进行3D测量时遇到了严峻的挑战。基于FPP，本文提出了一种使用周期性线条条纹图案和互补Gray码型的半透明物体三维测量方法。通过拍摄一组不同相位的周期性线条纹图案，对不同图像中同一像素位置的灰度值进行多高斯和拟合，可以得到与最大拟合灰度值相对应的条纹的包裹相位。此外，提出了一种新的互补Gray码方法来求解绝对相位，避免了亚表面散射引起的相位展开误差。对比实验结果表明，所提三维重建方法得到的半透明物体点云更完整、更密集、更平滑、更准确。半透明尼龙球和聚丙烯（PP）球体重建结果的拟合直径误差分别为0.025和0.044 mm。此外，我们的方法可以使用传统的基于光栅投影的双目立体视觉系统，而无需修改硬件系统。

2、相关知识

2.1、A. 地下散射

当投影仪照射不透明介质表面时，入射光被直接反射，因此入射点与出射点相同，如图1(a)所示。然而，当投影仪照亮半透明介质的表面时，如图1(b)所示，只有一部分入射光被直接反射。入射光的剩余部分将进入介质内部，在介质中散射一次或多次，直到从介质表面的某一点发射出去，这称为次表面散射。根据双向散射-表面反射率-分布函数(BSSRDF)模型，在 点上，向外辐射 与从方向上 在 点上的入射通量 之间有如下关系:

其中 是BSSRDF， 是菲涅耳透射率， 是折射的相对折射率，并且C是一个归一化常量。 是漫反射率剖面，它与入射点和涌出点之间的距离有关。 可以表示为归一化扩散函数，即:

其中A是表面反照率，r是入射点和涌现点之间的距离，并且d是与半透明介质的平均自由程相关的参数。

明显地 是递减函数和凹函数，所以离入射点越远，散射光强度越弱。因此，虽然照射在半透明介质表面的光会因次表面散射而形成光晕，但光晕的中心，即亮度最大的点，仍然是光的直接反射点。

2.2、次表面散射对正弦条纹的影响

投影仪投射到半透明物体表面任意一点PA上的正弦光栅条纹的强度可以表示为：

如图2所示，由于次表面散射效应，相机从介质表面PA点接收到的光线由两部分组成。一部分是投影仪照射在 PA 上的直接反射光。另一部分是投影仪发出的光到PA点附近的PB、PC等其他位置，经过次表面散射，最后从PA点出射进入相机。因此，相机接收到的光强可以表示为：

3、方法

本文采用基于条纹投影的双目立体视觉技术对半透明物体进行3D测量。测量系统模型如图3所示

3.1、求解相对相位

为了避免次表面散射效应导致光栅条纹之间相互干扰和耦合而产生相移，我们使用投影仪依次投影T个周期为T的条纹图案来代替传统的相移图案。每个图案上的条纹在垂直于条纹的方向上平移一个像素到一侧，如图4所示。我们不妨让第n个图案中亮条纹的相对相位为：

3.2、求解绝对相位

在获得景点的相对相位后，通常采用传统的多频相移方法来求解绝对相位。这显然需要投影多组周期性条纹图案，这严重降低了3D测量的效率。因此，我们认为使用格雷码进行相位展开是更好的选择。为了使相位展开过程更加鲁棒，使用普通格雷码In(u,v)和缺少0层的反格雷码In(u,v)来判断一个点是在亮条纹还是在条纹中。暗条纹，如图6（a）和（c）所示。

为了与习惯名称保持一致，我们仍将其称为4位格雷码。如果 In(u, v) ≥ In(u, v)，则该点位于亮条纹中；否则，它就处于黑暗边缘。然而，由于次表面散射的影响，相机拍摄的半透明物体表面图像中明暗条纹交界处的灰度一般不是阶梯状的，而是渐变的、模糊的，并且在边界处可以观察到不对称的倾斜。亮条纹和暗条纹。由于格雷码图案的暗边缘区域可能比反相格雷码图案的亮边缘区域具有更高的亮度，因此在确定该位置的点是亮边缘还是暗边缘时很容易出错。如图 7(a) 所示，由聚丙烯 (PP) 制成的半透明球体被格雷码图案照亮。球体表面的 P 点处于亮边缘区域，该点的图像灰度为 63。当采用反格雷码图案照射半透明球体时，P 点的图像灰度达到 78，由于次表面散射，尽管它位于暗边缘区域。显然，如果仅使用格雷码图案及其反转图案进行解码，则在判断点P是处于亮边缘区域还是暗边缘区域时会出现错误。

4、实验

在本文中，我们使用两台分辨率为2448像素×2448像素的大恒相机（MER2-50323GM-P）和一台分辨率为1920像素×1080像素的Wintech数字投影仪（PRO6500VIS900）形成3D扫描系统，如图9所示。为了验证我们提出的方法的可行性，我们对三个不同的半透明物体进行了3D扫描。然后将我们的重建结果与使用FPP方法和MPS方法 的重建结果进行比较

5、结论

本文提出了一种基于条纹投影的半透明物体3D重建方法：1）通过投影一组周期性条纹图案并对这些图像中同一像素的灰度进行曲线拟合来实现相对相位解；2）提出了一种新的互补格雷码方法来求解条纹的绝对相位。所提出的方法可以有效抑制次表面散射对相对相位和绝对解的影响。实验上，对不同材质的半透明物体进行了3D重建：玻璃碗、玉公鸡和白洋葱。与使用其他方法的3D重建结果相比，使用我们提出的方法获得的点云更完整、更密集、更平滑。此外，通过对尼龙球和PP球进行3D重建来定量分析所提出方法的准确性。实验结果表明，采用本文方法获得的尼龙球和PP球的拟合直径误差分别为0.025和0.044 mm，明显小于FPP方法和MSP方法的拟合直径误差。这些充分证明所提出的方法是有效的并且具有较高的3D测量精度。此外，该方法利用传统的基于FPP的双目立体视觉系统，在不改变系统硬件的情况下实现半透明物体的3D形状测量。

本文仅做学术分享，如有侵权，请联系删文。

在这里给大家推荐基于面结构光的高反射物体重建方法(相位偏着术)视频课

三维重建目前是最为炙手可热的领域。 摄影测量或结构光投影技术 可以解决漫反射重建问题，但却无法有效应对镜面反射物体（如玻璃、积水、反光物体和汽车车身）等的重建挑战。三维重建领域研究学者Kuosheng Jiang曾说：High brightness and high reflectivity are two significant challenges that remain to be addressed in machine vision inspection.因此，采用 相位测量偏折术 的方法可以快速而准确地完成对这些高反射物体的三维测量检测。

相位测量偏折术是检测和重建光滑、反光表面的理想选择。它采用一个显示屏和一个相机就可完成测量：显示屏上显示一系列黑白条纹，经过反射镜反射后发生形变，被相机捕捉。通过对相机拍摄的变形的条纹进行解调，就可以恢复镜面的三维形貌。基于光反射的机器视觉软件精确计算物体表面的不平坦区域位置。因此，即使是肉眼无法察觉的微小缺陷，如划痕、凸起、裂纹、凹陷和气泡，都可以被准确检测和定位。