主要观点总结
三维重建场景的纹理优化是计算机图形学和计算机视觉领域的核心任务之一，其目标在于优化纹理映射，减小重建几何体和纹理之间的对齐误差，提升重建场景的细节表现。本文综述了现有的三维重建场景纹理优化算法，包括传统优化算法和基于深度学习的优化算法，同时总结了常用于场景纹理优化的数据集和评价指标，并分析了不同数据集和评价指标的特点与用法。此外，本文还对现有的纹理优化算法进行了定性分析和定量对比，阐述了这些算法的原理及优缺点，并探讨了三维重建场景的纹理优化面临的挑战和发展方向。
关键观点总结
关键观点1: 三维重建场景纹理优化的重要性
三维重建场景的纹理优化对于提升重建场景的细节表现至关重要，尤其是在工业、军事、医学、教育和文化等领域的应用中。
关键观点2: 传统纹理优化算法
传统纹理优化算法主要包括基于图像融合的优化算法、基于图像拼接的优化算法以及纹理与几何联合优化算法，这些算法通过优化相机姿态、校正图像颜色、提高重建几何精度等步骤达到纹理优化的目的。
关键观点3: 基于深度学习的纹理优化算法
基于深度学习的优化算法利用神经网络对三维场景纹理进行优化，包括基于卷积神经网络的优化算法、基于生成对抗网络的优化算法、基于神经表示的优化算法以及基于扩散模型的优化算法等。
关键观点4: 纹理优化数据集和评价指标
本文汇总了常用的三维重建场景纹理优化的数据集与评价指标，并重点讨论了不同数据集和评价指标的特点与用法。
关键观点5: 纹理优化算法的比较与优缺点
本文定性分析和定量对比了现有的纹理优化算法，重点阐述了这些算法的原理及优缺点，并探讨了纹理优化算法的未来发展趋势。
正文
作者：于柳，吴晓群
原文：http://www.cjig.cn/thesisDetails#10.11834/jig.230478&lang=zh
摘要：
三维重建场景的纹理优化是计算机图形学和计算机视觉等领域的基础任务之一，其目的是优化纹理映射，减小重建几何体和纹理之间的对齐误差，提升重建场景的细节表现。为了对三维重建场景纹理优化算法的现状进行全面研究，本文从传统优化算法和基于深度学习的优化算法两个方面对现有三维重建场景的纹理优化算法进行综述。
传统的纹理优化算法一般通过优化相机姿态、校正图像颜色、提高重建几何精度等步骤达到三维场景纹理优化的目的，按照优化方式的不同，主要包括基于图像融合的优化算法、基于图像拼接的优化算法以及纹理与几何联合优化算法，而基于深度学习的优化算法则利用神经网络优化三维场景纹理。
同时，本文汇总了常用的三维重建场景纹理优化的数据集与评价指标，并重点讨论了不同数据集和评价指标的特点与用法。此外，本文对现有的各类纹理优化算法进行了定性分析和定量对比，重点阐述了这些算法的原理及优缺点，最后探讨了三维重建场景的纹理优化面临的挑战和发展方向。
三维场景重建通常利用图形或图像等作为输入，重构场景的三维几何信息和物理属性，已经深入应用于工业、军事、医学、教育和文化等行业。然而，由于采集设备的限制以及采集过程中人为因素等的影响，使得输入的数据往往存在噪音、模糊和缺失等问题；同时，重建算法也总是引起重建场景的几何误差、特征模糊和纹理失真等问题，使得重建的三维场景不能直接应用于相关领域。因此，优化重建场景的纹理，提升重建场景的细节表现显得尤为重要。
目前应用于三维场景数据采集的设备主要包括激光测距仪、单目相机、立体相机和RGB-D相机等。其中，基于单目相机（Božič等，2021；Wimbauer 等，2021）和多目立体视觉（Chabra 等，2019；Murez 等，2020）的场景重建算法通常依靠环境光获取RGB图像并预测图像的深度图，通过融合深度信息完成场景的重建。
但大多数场景都存在不同程度的结构变化、对象遮挡等问题，这些因素给精确的深度估计带来困难。因此，此类算法虽然理论上可较为准确地恢复深度信息，实际上却无法保证重建几何结构的精度；基于RGB-D相机的场景重建算法（Izadi 等，2011；Nießner 等，2013；Zhong 等，2019）通常包含图像预处理、配准和曲面融合3个关键步骤，其中，图像预处理指的是对图像进行去噪和提取后续配准需要的特征，配准则是估计两个连续帧之间的变换，而曲面重建则是以RGB-D数据为输入，利用特定的表示将完成配准的深度帧融合到一个重建模型中。
该类算法虽然在一定程度上提高了重建场景的质量，但这些重建场景的算法大多采用截断符号距离函数（truncated signed distance function， TSDF）（Curless和 Levoy，1996）作为深度数据集成的隐式表示，这种表示形式虽然在一定程度上减少深度数据中的噪声，但其采用的移动加权平均策略不仅会导致重建的几何体过度平滑，缺少锐利几何细节，还会进一步导致颜色纹理出现模糊和伪影现象。并且由于数据采集设备中不可避免的测量误差和量化误差以及相机姿态估计过程中累积的误差等，往往导致重建几何体的精度和纹理细节不能满足实际应用的要求。
如何提高重建场景的纹理质量已成为近年来的一个基本研究问题。本文对现有纹理优化算法进行了总结和梳理。首先汇总了常用于场景纹理优化的数据集和相关评价指标，然后从传统的纹理优化和基于深度学习的纹理优化两个方面分析了目前重建场景的纹理优化算法，并比较了各类算法的优缺点，最后对三维重建场景纹理优化问题的发展趋势进行了展望。
目前，已有多个标准的数据集供广大研究者解决重建场景的纹理优化问题，本文详细介绍了常用的数据集并给出了下载链接，同时在表1中汇总了相关数据集的提出年份、数据量、类别、数据类型、场景规模以及获取方式。
1）TUM benchmark 数据集（Sturm 等，2012）由德国慕尼黑工业大学（Technische Universität München，TUM）提供，由微软的Kinect相机采集的两个不同室内场景的39个序列构成，包含彩色图像、深度图像以及精确的相机运动轨迹（
https://cvg.cit.tum.de/data/datasets/rgbd-dataset/download
）。
2）ICL-NUIM（Imperial College London and National University of Ireland Maynooth）数据集（Handa 等，2014）是合成的室内场景数据集，包含客厅、办公室两个场景的8个序列，并提供了相机姿态和真实值（ground truth，GT）（
http://www.doc.ic.ac.uk/~ahanda/VaFRIC/iclnuim.html
）。
3）Sun 3D数据集（Xiao等，2013）是大规模RGB-D视频数据集，由RGB-D传感器采集，包含415个序列，主要用于三维场景重建和语义理解等任务（
https://sun3d.cs.princeton.edu/
）。
4）Fountain数据集（Zhou和Koltun，2014）由RGB-D相机采集得到，常用做评估三维物体的纹理质量，包括彩色图像序列、深度图像序列、相机姿态以及三维模型（
https://drive.google.com/file/d/1eT45y8qw3TLED2YY9-K1Ot6dQuF9GDPJ/view
）。
5）ShapeNet数据集（Chang等，2015）是由美国普林斯顿大学和美国斯坦福大学等机构提供的大规模三维模型数据集，其中训练集、验证集和测试集分别占比70%、20%和10%，共计51 300个三维模型，包含55个类别（
https://shapenet.org/
）。
6）Matterport3D数据集（Chang 等，2017）是大规模室内场景数据集，其中每个场景均进行了实例级别的语义标注，可用于图像和点云的语义分割、实例分割、表面法向量估计等任务（
https://niessner.github.io/Matterport/
）。
7）ScanNet数据集（Dai等，2017a）是由美国斯坦福大学提出的基于RGB-D的大规模室内场景数据集，包含1 513个场景，其中80%的模型用于训练，20%的模型用于测试（
https://github.com/ScanNet/ScanNet
）。
8）SceneNet数据集（Handa 等，2016）是合成数据集，可用做语义分割、实例分割和目标检测等任务，虽然未直接提供三维模型数据，但可以通过彩色图像和深度图像间接计算获得（
https://robotvault.bitbucket.io/scenenet-rgbd.html
）。
9）BundleFusion数据集（Dai 等，2017b）是由商业RGB-D相机采集得到，包含打印室、办公室等多个室内场景，可用于纹理质量评估（
http://graphics.stanford.edu/projects/bundlefusion/
）。
10）Replica数据集（Straub等，2019）是一个高质量的室内重建场景数据集，包含18个室内场景，每个场景都具有干净密集的几何形状和高分辨率、高动态范围的纹理（
https://github.com/facebookresearch/Replica-Dataset
）。
1）均方误差（mean squared
error，MSE）（Baatz等，2022）用于衡量原始纹理图像和处理后的纹理图像之间的差异程度，MSE的值越小，表示优化的纹理质量越高。
2）峰值信噪比（peak
signal-to-noise ratio，PSNR）（Fu等，2023；Kim等，2022）是用于衡量纹理质量的另一个指标，PSNR的值越高，表示纹理质量越高。
3）结构相似性（structural
similarity index measure，SSIM）（Fu等，2023；Kim等，2022）用于评估图像的失真程度或图像处理的效果。其值在［-1，1］范围内，SSIM的值越大表示两幅图像越相似。
目前，已经提出了多种评价指标来测试三维几何优化算法的性能。
1）交并比（intersection
over union，IoU）（Dai等，2021）是评估重建场景质量最常用的指标，指的是重建结果与其真实值之间的交集占两者并集的比率。
2）豪斯多夫距离（Hausdorff
distance，HD）表明两个网格的相似程度。取值越小，相似程度越高。
3）平均距离（mean
distance，MD）表示顶点到几何体M的距离除以网格M0的面积的表面积分。
三维重建场景的纹理优化指的是改进纹理映射，减小几何体和纹理之间的对齐误差，提升重建场景的细节表现。光照条件、视角位置等诸多因素都可能导致纹理模糊失真。目前主流的颜色纹理优化算法包括传统的纹理优化算法和基于深度学习的纹理优化算法。本文主要选择了38篇高质量的相关文献进行详细分析，图1展示了这些文献的年份分布情况，并统计了传统的各类优化算法以及基于学习的优化算法文献数量，如图2所示。
传统的纹理优化算法的输入通常是重建的三维几何体和经过全局配准的多幅彩色图像，输出是纹理三维模型。实现三维场景纹理映射的一种简单方法是组合多角度彩色图像并投影到三维场景，理想情况下，这些彩色图像在光度上是一致的，将它们组合起来可以产生令人满意的纹理。
然而，在实际建模过程中，相机姿态累积的误差通常会导致投影图像的错位，同时，重建几何体的不准确也会导致纹理图像的失真，因此，这种简单的方法生成的纹理通常伴随模糊和伪影。目前纹理优化的传统算法主要分为基于图像融合的优化算法、基于图像拼接的优化算法以及纹理与几何联合优化算法。
基于图像融合的优化算法侧重于提升三维模型和小规模重建场景的视觉质量，该类算法通常会在利用混合权重函数对多幅纹理图像的颜色样本进行加权平均之前，通过优化相机姿态，对图像添加变形函数等操作来减少纹理的模糊和伪影。表2汇总了现有的基于图像融合的纹理优化算法的年份、主要思想和优缺点。
Zhou和Koltun（2014）提出的算法通过优化相机姿态来最大限度地提高重建贴图的光度一致性，并为每一幅图像添加一个变形函数以进一步减小图像间的对齐误差，然而，局部的变形图像无法纠正较大的几何错位，并且该算法需要对网格模型进行细分，导致数据量的增大。
如图3所示，图3（a）为包含240个三角形模型的映射结果，图3（b）为包含2 045个三角形模型的映射结果，图3（c）为包含990 858个三角形模型的映射结果，可以看出模型细化程度越高，该算法纹理映射结果越好。
图3 纹理优化示意图（Zhou和Koltun，2014）
与Zhou和Koltun（2014）使用顶点颜色渲染三维模型的算法不同，Jeon等人（2016）以全局纹理图的方式对三维模型进行渲染，该算法利用每个顶点—环邻域内的局部信息并行优化纹理坐标，可在几十秒内生成全局纹理图，相比于Zhou和Koltun（2014）算法，速度提升近100倍。
为了去除光照和阴影对纹理的影响，翟昌杰和秦学英（2017）利用已知位置纹理映射关系求解漫反射分量，同时综合相机成像质量、遮挡光照等因素设计混合权重函数，使得多幅图像的像素值可以很好地融合。相比于直接优化相机姿态的操作，纹理图像的优化能够更加灵活地校正颜色偏差，但该算法对于特殊材质的反射模型还需进一步研究。
Bi等人（2017）以基于块的方式对输入图像重新生成配准图像来克服绝大多数的不精确问题。使用双向相似性（bidirectional similarity， BDS）（Simakov等，2008）确保目标图像与源图像的相似性，同时添加约束确保特定视角下的纹理与投影后的目标图像纹理的一致性。通过迭代优化以上两个特性构成的全局能量函数来提高纹理细节。相比于Zhou和 Koltun（2014）的局部变形算法，该算法能够有效处理几何特征明显缺失的情况。
为了减缓图像边界处的色差，Li等人（2019b）通过多重网格扭曲算法修复重建几何体和RGB图像之间的未对齐现象，同时提出了全局多视图颜色校正算法提高RGB图像的颜色一致性。与自然混合多视图算法和Zhou和Koltun（2014）算法相比，该算法可以纠正大多数颜色偏差。
为了进一步提高三维场景纹理映射的效率， 一些工作（Lee等，2020；Kim等，2022）采用实时的方式来重建三维场景几何与纹理。实时纹理融合算法无需使用额外的纹理贴图优化、网格参数化等烦琐的后处理步骤，即可确保纹理的保真度。
这些算法通常基于体素表示构建场景，更新几何体的同时保证纹理细节，Lee等人（2020）通过正交投影来保持曲面和体素内纹理块之间的关系，同时将透视贴图应用于输入图像，以便有效地缓解中间几何体与当前输入视图之间的不匹配。
Kim等人（2022）则在场景重建过程中建立和更新全局纹理图谱，充分利用了每一帧图像的颜色信息。相比于离线纹理优化算法，这些算法可以高效实现三维场景的纹理优化，但当多个视角下的图像光照条件不一致时仍然会产生模糊伪影等问题。
基于图像融合的优化算法虽然在一定程度上缓解了长期以来几何体和纹理未对齐的现象，可有效提升小规模场景中纹理模型的视觉质量，但本质上仍然采用加权平均混合策略来计算顶点的颜色，由于算法本身的局限性，该类算法并不适用于结构复杂的大规模重建场景。图4给出了Lee等人（2020）算法和Kim等人（2022）算法在公开的ScanNet数据集（Dai等，2017a）中两个场景的比较结果。
相比于小规模重建场景，大规模重建场景的纹理优化算法往往在视觉质量与数值效率之间进行权衡，大规模重建场景通常采用基于图像拼接的算法优化纹理。首先会根据视角位置、图像分辨率等因素来构造能量函数，为模型上的每一个三角面片选择一幅最佳图像来决定该面片的颜色表达。
显然，当两个相邻的面片对应于不同的图像时势必会产生接缝，因此该类算法的重点是解决接缝问题。表3对比分析了现有基于图像拼接的纹理优化算法的主要思想和优缺点。
Lempitsky和Ivanov（2007）首次将最小化纹理之间的接缝问题转化为基于网格的马尔可夫随机场（Markov
random field， MRF）能量函数的优化问题，能量函数计算式为
(1)
式中，Faces表示网格的三角面片序列，F
i
表示网格中的三角面片，F
j
表示与面片F
i
相邻的三角面片，Edges表示面片F
i
与面片F
j
之间的公共边。l
i
表示面片F
i
投影的视角，l
j
表示面片F
j
投影的视角。
Lempitsky和Ivanov（2007）将三角面片法线与相机视角方向之间的夹角作为评价三角面片在该视角下所获取的最佳纹理的标准，同时引入校平函数来保证三维模型整体色彩在一个很小的范围内变化。如图5所示，图5（a）为圆周上的分段连续函数f，图5（b）为校平函数g，图5（c）为二者之和，可以看到校平后的函数在原始函数不连续点处已经得以连续。
图5 Lempitsky和Ivanov（2007）优化纹理颜色示意图
受到Lempitsky和Ivanov（2007）工作的启发，一些算法（Allene等，2008；Gal等，2010）对式（1）中的能量函数添加不同的约束来减缓相邻面片间的接缝问题。具体来说，Allene等人（2008）选择三角面片在该视角图像中的投影面积大小作为选择视角的判别依据。Gal等人（2010）则进一步采用梯度指标衡量纹理图像对三角面片的贡献值，相比于Lempitsky和Ivanov（2007）采用的法线夹角评价指标，三角面片在图像上的投影面积和梯度能更加准确地衡量纹理图像的质量。
针对大规模室外三维场景纹理优化问题，Waechter等人（2014）综合上述视角选择标准改进式（2）的数据项来选择三角面片的最佳投影视角，改进的数据项为
式中，
表示面片F
i
在视角l
i
下的投影，
表示面片F
i
在视角l
i
下的投影区域的像素梯度。并且，在全局优化接缝问题时，Waechter等人（2014）在上述算法只优化顶点颜色的基础上，同时优化顶点邻接边的颜色，能够进一步消除边界不连续性，纹理优化示意图如图6所示。
图6 Waechter等人（2014）优化纹理颜色示意图
针对存在遮挡的大规模室内三维场景，姜翰青等人（2015）提出了一种分块映射的纹理优化算法，该算法在获得模型每个面片最优的纹理图像对应关系后对映射的纹理数据进行精简化，并能够实现不可见区域的纹理修复。
为了实现在保证纹理清晰度的基础上消除接缝，刘彬等人（2015）综合三维顶点、图像视点以及重建模型误差等信息加权生成贴片像素，并采用多分辨率分解融合技术消除接缝。
为了提升纹理映射速度，Li等人（2019a）综合纹理坐标的颜色信息和梯度信息计算出纹理坐标的最小偏移量，通过移动纹理坐标来减少相邻三角形所对应的不同图像间的对齐误差，该算法与Gal等人（2010）算法相比，能够以大约50%的平均加速率生成精细纹理贴图。
Fu等人（2018）利用颜色一致性和几何一致性调整了每个纹理块的相机姿态，并且引入额外的变换矩阵来细化不同块边界上的纹理坐标，与Waechter等人（2014）算法相比，该算法在一定程度上克服了相机漂移的干扰，可以使得生成的映射结果中包含较少的纹理接缝，但局部优化步骤需要向纹理区域添加仿射变换，纹理可能会在边界上发生变形，因此，当几何误差较大时，该算法仍会导致最终纹理出现局部扭曲现象。
为了进一步减小几何体与纹理图像之间的映射误差，Li等人（2020）引入平面先验作为马尔可夫随机场（MRF）能量函数平滑项的约束条件来生成纹理图，并基于数量优先原则和最长边原则对纹理图的锯齿状边界问题进行了优化。该算法可有效提高纹理映射的准确性和细节表现，但过度依赖于重建几何的精度，如果重建几何的质量较差则有可能会影响最终的效果。
在上述工作（Fu等，2018）的基础上，Fu等人（2023）再次对纹理映射问题进行了优化。此算法在选择纹理图像的步骤中对纹理细节进行加权，以避免在高频区域生成纹理图分区。并采用Bi等人（2017）算法重新合成纹理图边界，有效解决了纹理图像之间的颜色不一致问题。该算法不仅能有效避免Bi等人（2017）算法容易导致纹理结构失真的问题，还能够生成比之前工作（Fu等，2018）更加清晰的纹理结果。
Sheng等人（2021）则将空间连续最大流方法扩展到三维网格的不规则图设置中，并将相应的数值配置应用到视图选择场景中。该算法相比Waechter等人（2014）算法在大规模室外三维场景纹理映射的效率上有了很大提升。
此类算法虽然在一定程度上避免了三维模型产生模糊和重影的纹理，但由于相机姿态误差和重建几何体精度较低等因素的影响，对于结构复杂的大规模室内场景，并不能有效解决几何模型边界颜色不一致的问题。图7给出了Waechter等人（2014）、Fu等人（2018，2023）等3种纹理优化算法在公开的Fountain数据集（Zhou和Koltun，2014）上的比较结果。
可以看出，Fu等人（2023）算法的纹理映射结果明显优于Waechter等人（2014）算法和Fu等人（2018）算法，由于Waechter等人（2014）算法在优化接缝问题时，没有优化相机姿态等步骤，导致其无法克服几何和相机漂移的干扰，生成的映射结果包含明显的错位和纹理接缝。而Fu等人（2018）和Fu等人（2023）算法经过相机姿态优化以及图像颜色校正等一系列步骤，可有效提升模型的纹理细节。
重建几何的精度也是影响纹理质量的重要因素之一，如果三维场景的纹理经过相机姿态优化和图像颜色校正之后，仍然存在顶点颜色与投影颜色不一致的问题，那么一般会认为是重建几何误差对纹理质量造成的影响，因此，一些算法（Maier等，2017；Huang等，2017；Wang和Guo，2018，2019；Fu等，2020）同时优化纹理与几何以进一步增强三维场景纹理细节。表4汇总了现有的联合优化算法的主要思想和优缺点。
考虑到光照等外界因素对纹理映射结果的影响，Maier等人（2017）同时考虑外观和几何信息，并利用空间可变照明模型来处理照明变化，以此来生成具有一致纹理的三维场景。但该算法容易导致纹理复制的问题。
室内场景通常是以高度结构化的方式构建的，具有丰富的正交和平行的平面，因此一些算法（Huang等，2017；Wang和Guo，2018，2019）在曼哈顿世界假设下利用平面基元优化全局几何结构和纹理特征，Huang等人（2017）引入了纹理锐化以及跨帧颜色校正等步骤，可以生成具有清晰高保真纹理的三维场景，但这些步骤往往需要耗费大量时间，极易造成资源的浪费。
而Wang和Guo（2018）对网格结构进行了简化，运行速度比Huang等人（2017）有所提升，但生成的纹理却不及他们的清晰，并且不能填充RGB-D扫描中出现的孔洞。为了保持物体边界的锐利特征，Wang和Guo（2019）则进一步结合线特征约束和平面先验优化相机姿态和几何顶点位置，虽然该算法生成的纹理特征仍然不如Huang等人（2017）清晰，但与Wang和Guo（2018）相比，该算法可以更好地处理物体边界过于平滑的问题，并能够保证物体间边界颜色的一致性。
针对存在严重颜色不一致的关键帧导致的纹理模糊问题，Fu等人（2020）结合光度一致性和几何一致性同时优化相机姿态和模型的顶点坐标，并利用法线约束增强几何细节，与他们之前的工作（Fu等，2018）相比，可有效消除纹理之间的接缝。
对于三维模型和小规模三维场景，此类算法通常联合优化相机姿态、纹理颜色以及几何顶点位置来提升纹理细节表现，但这些操作往往需要耗费大量时间才可以达到视觉上不错的效果，而对于大规模的室内场景而言，此类算法大多利用平面先验联合优化几何和纹理，虽然可以生成具有清晰纹理的轻量级室内三维场景，但仍然无法处理几何特征明显缺失的区域，并且对于场景中具有曲面特征的物体仍无法避免纹理失真的问题。
图8给出了Huang等人（2017）算法、Wang和Guo（2018）算法与Wang和Guo（2019）算法在公开的BundleFusion数据集（Dai等，2017b）的定性分析结果。由图8可以看出，Huang等人（2017）算法在纹理清晰度方面更加优于另外两种算法，而另外两种算法（Wang和Guo，2018，2019）则更侧重于整体效果。
表5给出了Zhou和Koltun（2014）算法、Fu等人（2018）算法、Lee等人（2020）算法以及Kim等人（2022）算法在公开数据集Fountain（Zhou和Koltun，2014）以及ScanNet数据集（Dai等，2017a）纹理优化的定量比较结果。
基于深度学习的算法在纹理优化领域引起了广泛关注。目前基于深度学习的纹理优化算法主要分为基于卷积神经网络的优化算法、基于生成对抗网络的优化算法、基于神经表示的优化算法以及基于扩散模型的优化算法。表6汇总了现有的基于深度学习的纹理优化算法的主要思想和优缺点。
卷积神经网络（convolutional neural network， CNN）作为深度学习网络的典型结构，在纹理优化等领域有着广泛的应用（高明慧 等，2019；Liu等，2021；Zhi等，2020；Dai等，2021；Wei等，2021）。
