准确的车道线检测对于自动驾驶的有效路径规划和车道跟随非常重要，尤其是在车辆和行人的严重影响下。现有模型在这种条件下往往挣扎，导致导航不可靠和安全风险。
作者提出两种创新方法来增强这种具有挑战性的环境中的车道线检测，每个方法都较现有方法取得了显著的改进。第一种方法 aug-Segment 通过将CULanes训练数据集的模拟遮挡和训练分割模型，改善了传统的车道线检测模型。
该方法在CULanes数据集上的几项SOTA模型上实现了12%的改进，表明丰富的训练数据可以更好地处理遮挡，然而，由于这种模型对某些设置缺乏鲁棒性，因此作者的主要贡献是第二种方法， LOID 车道遮挡修复和检测。
LOID 引入了一种先进的车道线检测网络，该网络使用图像处理 Pipeline 识别和 Mask 遮挡，然后使用修复模型在遮挡区域重建道路环境。
增强的图像由车道线检测算法处理，分别在一个真实的车道数据集（BDDK100）上的几项SOTA模型实现了20%和24%的改进。这突出显示了这种新颖技术的有效性。
I Introduction
车道线检测作为计算机视觉问题，主要涉及到使用视觉数据识别道路上车道标线的边界，这些数据通常由安装在车辆上的摄像头捕捉到。车道线检测的核心目标是准确识别车道标线，这可以用于确定车辆在车道内的位置并引导其轨迹 。这对智能车辆具有显著优势，例如自适应巡航控制、车道保持和离开警告系统。此外，这也是自治车辆导航和控制所必需的。
然而，传统的车道线检测模型往往在车道被车辆和行人严重遮挡的情况下遇到困难，这被称为遮挡。这些遮挡会打乱复杂城市环境中或密集交通中的车道标线的连续性，导致不可靠的检测和可能危险的驾驶决策。
因此，解决遮挡带来的挑战对于提高自动驾驶系统的鲁棒性和可靠性至关重要。在遮挡存在的情况下有效检测车道需要创新的方法，这些方法可以智能地处理部分或被遮挡的车道标线，确保车道边界的连续和精确本地化 。
传统的车道线检测技术可以分为基于模型的方法 和基于学习的方法。基于模型的方法通常利用边缘检测和Hough变换等数学模型，但在不同的道路条件和照明变化下表现挣扎。学习基础的方法，包括深度学习模型、语义分割、标定基础和参数预测等，可以提供稳健的车道描绘，但在遮挡和未预见的/新的道路条件方面面临挑战。作者在下一节中详细讨论这些话题并给出全景的最新进展。
可以看出，传统方法往往缺乏处理意外场景所需的适应性，例如非标准车道标线或不规则的道路条件，特别是在车道部分被遮挡或碎片化的情况下。尽管基于深度学习的方法具有解决这些挑战的潜力，但它们还引入了其他复杂性，例如需要大量标注数据集、模型可解释性的困难，以及训练数据与应用数据的路线条件变化。因此，尽管有所进展，但遮挡的减轻仍是在车道线检测研究中持续面临的挑战 [16]。
作者提出了两种解决问题的方法。作者的第一种方法名为"aug-Segmnet"，该方法使用带有车道标线的遮挡数据集训练一个现成的分割模型。这个定制的、增强的数据集是为了帮助模型更好地处理遮挡。作者的第二种方法名为LOID（车道遮挡修复与检测），作者通过引入一个新颖的流程来解决这个问题，这个流程首先是检测遮挡，然后进行修复以恢复车道信息，最后是使用分割模型覆盖车道线以确保强大的车道线检测。车道标线分割和LOID在相比之下可以看作是YOLOPv2的输出，如图1所示。
作者的主要贡献如下：
作者利用一个定制的数据集（带有遮挡），用来训练一个YOLOv8-seg模型（aug-Segment），该模型在多个最新模型上实现了性能提升。
作者介绍了一种基于深度学习的流程，名为LOID（车道遮挡修复与检测），该流程包含三个组成部分：检测动态遮挡，重建被遮挡的车道标记，以提供道路的完整和连贯表示，随后检测清晰的车道线。LOID在性能上大幅超越了多个现有最先进（SOTA）模型和aug-Segment。LOID还展现了良好的适应性和鲁棒性，适用于多个流行的数据集。
其余章节如下，第二节分析了车道线检测的前期研究，第三节概述了开发的流程和每个节点的详细分析，第四节描述了用于评估的研究数据集，第五节包含与流行的模型相比所进行的所有实验和结果。
II Related Work
传统的车道线检测方法可以大致分为两大类：基于模型的方法和基于学习的方法。
基于模型的方法:
基于模型的车道线检测方法依赖于数学模型和启发式方法来识别图像或视频帧中的车道标记。这些技术通常利用图像处理操作，如边缘检测、Hough变换和曲线拟合，来提取车道特征[11, 12]。虽然基于模型的方法计算速度较快，但在违反底层数学模型的假设的情况下，它们可能难以处理复杂的或变化的道路上。此类方法缺乏泛化能力，在光照变化的情况下会遇到问题。
文献[18]提出的方法依赖于摄像机的参数和初始校准。因此，将帧的鸟瞰图应用于不同的系统进行一般化是困难的，通常假设道路为平坦道路。为了解决这个问题，文献[19]提出了一种深度学习模型，它使用空间变换金字塔模块从图像中生成鸟瞰图及其特征。文献[20]提出了一种减少单目图像深度模糊的方法，该方法直接利用3D感知的前视特征和动态3D地面位置嵌入，而不依赖于显式的摄像机参数或变换视图表示。
基于学习的方法：
与基于模型的方法相反，基于学习的方法使用深度学习技术从训练数据中学习车道标记的视觉模式。深度学习模型通常分为4类：分割基方法、 Anchor 点基方法、行检测和参数预测方法。语义分割基方法可以是基于语义或实例[23]的方法，最常见的是这两种方法。这些方法可以提供像素 Level 的分类，确保详细的车道划分和强大的一流性能。
在 Anchor 点基方法中，这些方法广泛地探索过，通过引入行 Anchor 点基于方法将图像分割成网格，并在每个网格中确定车道线的存在。在行检测中，模型将图像分割成行，以获得每条车道的一行表示。参数预测方法试图使用多项式曲线估计车道。PolyLaneNet 将车道线检测视为曲线方程，并使用深度网络回归车道曲线方程，使用 Transformer 结构预测车道参数。然而，现实生活中行驶的车道并不总是可以用曲线（如分叉车道、人行道等）来表示。CNNs 、RNNs 、transformers 。无监督学习， Anchor-Free 点方法，注意机制和3D车道线检测都是车道线检测领域探索的学习方法。
这些方法存在的主要挑战在于 scenes with heavy occlusions and unfamiliar road conditions（在训练时间内未预见的情况）。这种情况下，由于遮挡会导致道路的大部分地区在预测车道标记时无法标记，从而导致性能大幅度下降。本论文的实验部分将进一步阐述这一点。
文献采用多个摄像机融合框架，通过校准的前、左、右视图摄像头，对模型基车道线检测进行了处理。但需要大量的摄像机参数、位置信息和校准。因此，缺乏坚固性和便携性。文献利用 Mask 操作过滤干扰像素并对图像中的目标车道进行锐化，并采用三阶B样条曲线模型进行车道拟合，以适应真实世界中道路的曲率和变化。为确保可行性，采用了RANSAC算法进行迭代曲线拟合，以降低outlier的影响。但是，这些模型在道路处于高程或下滑坡度时面临巨大挑战。
填充模型（Painting Models）是作者提出的 Pipeline 中的一个重要组成部分。填充模型通过分析周围像素来恢复图像中 Mask 的区域。填充模型可以分为顺序、CNN和GAN基于的方法，更多内容请参见。在许多研究中，填充模型已被用于遮挡去除。例如，填充模型被用于重建动态目标的 Mask 区域，以更好地表示静态目标。文献[39]提出了另一种应用，填充模型被用于通过 Mask 前景目标并重建场景来细化背景的语义分割。
III Methodology
在本节中，作者对增强段（aug-Segment）和逻辑优化（LOID）进行了全面概述，详细说明了为提高性能进行的修改和调整。
请注意，上述翻译的语法、清晰度和整体可读性已尽可能提高，但仍可能存在不足。具体翻译质量可能会因不同场景和语境而受到影响。如果您对翻译有任何疑问或需要进一步修改，请随时告知。
Architecture Design - aug-Segment
直接采购的实例分割模型YOLOv8-seg [17]在对COCO数据集[40]进行预训练后，通过一个定制的增强数据集进行微调[参见IV-1节]。由于该数据集具有即使在被遮挡的区域也进行标记的特点，模型学会了通过这些遮挡区分车道。
该模型进行了50个周期的训练，使用0.01的学习率设置SGD优化器。YOLOv8-seg的损失函数将四个组成部分组合在一起-二进制交叉熵（BCE）损失用于分类预测，分布聚焦损失（DFL）用于优化预测分布以提高边界框的准确性，完全交集与 Union（CIoU）损失用于通过考虑预测和真实框之间的重叠、距离和长宽比差异来微调边界框预测[18]。
Architecture Design - LOID
为了应对遮挡造成的信息损失问题，作者提出了一种基于图2所示的流水线的处理方法，该流水线包含三个关键节点：检测（Detection）、插补（Inpainting）和分割（Segmentation）。
检测器节点（Detector Node）:
该流水线的开始是检测器节点，它识别和定位路上的遮挡，然后生成相应的 Mask 。这个过程使用了YOLOv8 目标检测模型。
插补节点（Inpainting Node）:
流水线的下一部分是插补节点。它接收来自检测器节点的带 Mask 图像，并通过CR-Fill ，一个上下文恢复模型，进行重建。这有助于在存在车辆遮挡的情况下恢复被遮挡的车道。
分割节点（Segmentation Node）:
最后，使用YOLOPv2模型 ，一个全图驾驶感知系统，对插补后的帧中的车道区域进行分割。
Iii-B1 Detector Node
选择YOLOv8模型作为检测节点的主要因素是速度，因为该节点的重点在于识别占据大片道路区域的交通障碍物，因此对准确性的要求相对较低。这种架构减少了计算开销和延迟，使其特别适合实时应用程序。它有3.01M个参数。
YOLOv8的预训练模型使用BDD100k数据集[42]进行了微调。微调过程包括使用批处理大小为23、学习率为0.000714的AdamW优化器训练模型20次轮，每次训练的参数设置为20 epochs。损失函数包含多个部分，以处理检测中的每个组件。分类分支使用二进制交叉熵（BCE）损失来衡量检测目标分类的误差。回归分支负责预测边界框，使用目标性损失（BCE损失）和位置损失（完整交集与 Union Loss 的组合）。目标性损失计算在指定的网格单元中是否存在目标的误差。IoU损失考虑预测框和真实框之间的重叠和长宽比差异。
为确保 Pipeline 充分适应车载遮挡和交通场景，训练重点放在了与车辆交通相关的7个类别上 - 汽车、行人、卡车、公交车、火车、摩托车和自行车。图5说明了通过YOLOv8模型生成的输出的过程，经过原始图像后，将其转换为带 Mask 的图像，用于后续的转换。这个过程划分了用于修复模式区域的区域。
