随着深度学习技术的发展，数据驱动方法在自动驾驶决策中得到了越来越广泛的应用，数据集的质量极大地影响了模型的性能。尽管当前数据集在车辆和环境数据的收集方面取得了显著进步，但对包括驾驶员状态和人工评估在内的人端数据的关注不够充分。此外，现有数据集大多包含简单的跟车场景，导致交互水平较低。
在本文中，作者介绍了驾驶员评估数据集（D2E），这是一个包含驾驶员状态、车辆状态、环境情境以及人工评审员评估分数的自动驾驶决策数据集，涵盖了车辆决策的全面过程。
除了常规的代理和周围环境信息外，作者不仅收集了包括第一人称视角视频、生理信号和眼动注意力数据在内的驾驶员因素数据，还提供了40名志愿者的主观评分。数据集混合了驾驶模拟器场景和真实道路场景。
设计了高交互情境并筛选以确保行为多样性。
通过数据组织、分析和预处理，D2E包含了超过1100段交互式驾驶案例数据，从人类驾驶员因素到评估结果，支持数据驱动决策相关算法的发展。
I Introduction
自动驾驶技术被认为将在未来交通领域带来重大革命。通常，自动驾驶技术可以分为感知、决策和控制三个部分。其中，复杂交通场景下的决策是一个向高级自动化驾驶发展的关键挑战[1, 2]。现有的决策方法可以分为规则驱动和数据驱动两大类。尽管基于规则的方法在低 Level 自动驾驶场景中可靠且易于实施，但它们在复杂场景中缺乏泛用性[3]。数据驱动方法，如深度学习和强化学习，因其潜在的泛化能力而受到广泛关注[4]。
数据驱动方法的有效性在很大程度上依赖于所使用数据集的质量。尽管近年来数据集的规模和种类急剧增加，以加速决策技术的发展，但涉及人的因素的数据仍然相对匮乏。
即使某些数据集包含了如注视点[7]之类的人的因素数据，这些数据常常与驾驶环境相隔离。包含驾驶环境信息的人的因素数据有助于更好地理解人类驾驶智能，从而促进自动驾驶决策的发展。
另一方面，当前的数据集越来越关注于难以通过现实车辆收集的挑战性场景。现实驾驶中的挑战性场景难以复制且难以保证安全。相比之下，基于模拟器的数据收集在安全性和效率方面更高，允许场景的重复，尽管可能缺乏真实性。因此，一个更全面的数据集应该包括来自模拟器和现实世界驾驶的高风险事件，以相互验证并确保数据质量。
为了解决上述问题，作者建立了D2E数据集，这是一个涉及驾驶员状态和人评分手册的自动驾驶决策数据集。遵循当前挑战性场景的趋势[8, 9]，它优先考虑高交互性场景，包括模拟器中的案例和从现实世界驾驶段落提取的事件。具体来说，D2E数据集，顾名思义，将驾驶员因素数据、驾驶环境数据与人评估整合在一起。除了记录基本的驾驶环境数据，如自车及其周围车辆的位置和速度外，D2E还收集了每个驾驶事件中驾驶员的生理和眼动信息，以及记录的第一人称视角视频。此外，由于人类驾驶员也会犯错，40名志愿者的主观评分被提供用于每个驾驶事件，以便算法可以识别案例的驾驶性能水平。
与先前的自动驾驶数据集相比，D2E数据集的贡献如下：
-
人的因素数据：作者的数据集为每个事件收集人的因素数据，包括心率、血氧等生理数据和眼动数据。此外，作者还招募了合格的评分员，根据第一人称视角视频为每个驾驶事件提供主观评分。
-
模拟器与实车的整合：D2E从模拟器和实车驾驶中收集驾驶事件，包括高风险和复杂场景的模拟数据以及自然驾驶数据，确保足够的交互强度同时增强数据真实性。
-
高交互性场景设计：作者在模拟器中设计了12个复杂的交互式驾驶场景。至于实际道路驾驶，交互式案例是手工筛选的。
本文的后续部分如下安排：第二部分回顾了有关数据集的前人文献；第三部分介绍了作者的方法论，包括实验设备与数据收集程序的细节；第四部分对D2E进行了全面分析；第五部分为本篇文章提供了一个简短的结论。
II Related Works
传统的自动驾驶决策方法通常基于固定规则，这使得它难以适应复杂场景和处理车辆交互，因此难以达到驾驶员的满意度[3]。随着人工智能的发展，数据驱动的方法，如深度学习和强化学习，越来越受到研究者的关注。一个好的数据集通常决定了神经网络的训练结果和最终准确性[10]。
从交通系统的角度来看，决策数据集的数据来源主要可以分为三类[5]。第一类是车辆信息，包括车辆的位置信息以及CAN总线上的内部数据，如油门位置、方向盘角度、发动机状态等。第二类是环境数据，包括通过感知传感器收集的其他交通参与者、交通灯和其他交通相关信息。第三类是驾驶员状态，包括驾驶员与驾驶舱的行为互动、生理状态、视线分配和分心等。
在现有数据集中最常见的数据类型是车辆和环境信息。《DDD17数据集》[11]包含了从车辆板上端口获取的信息，如速度、GPS数据、发动机转速、传动输入扭矩和燃油消耗。《EU长期数据集》[12]整合了十一个异质传感器，包括各种摄像头、激光雷达、雷达、IMU和GPS-RTK，使车辆能够感知周围环境并同时定位自身。此外，还有一些经典的数据集。NGSIM数据集[13]记录了结构化的道路交叉口和高速公路进出口匝道。《HighD数据集》[14]使用无人机捕捉德国高速公路场景。《SHPR2数据集》[15]记录了超过1900起轻型车辆碰撞。《KITTI》和《Waymo》[8, 16]数据集使用激光雷达和摄像头收集环境数据。尽管车辆和环境的 数据来源很全面，但对驾驶员数据的关注不足，这也为自动驾驶的发展提供了巨大的价值和启示[17]。
一些数据集专门收集驾驶员数据，作为人类驾驶员行为模式分析的数据集。Xing等人[18]在驾驶模拟器实验中收集了驾驶员的生理信息，如皮肤、肌肉、呼吸和血氧水平。DMD数据集从3个摄像头捕捉了37名驾驶员的面部、身体和手部，记录了总共41小时的数据，包括驾驶员分心、注视点、疲劳以及手与方向盘的交互[19]。当前驾驶员数据集的一个主要局限性是它们关注点单一，缺乏对各种驾驶员信息如行为、注意力和生理数据的全面收集。其次，这些驾驶员数据集缺乏与车辆和环境数据的整合，这使支持决策算法的发展变得困难。因此，作者的数据集旨在收集车辆、环境和驾驶员的集成数据。
除了缺乏驾驶员数据之外，当前数据集的另一个挑战是交互性低[10]。在Argoverse数据集[20]中，只有大约三百个有趣的轨迹满足至少一个预设条件，包括交叉路口和换道。在高D数据集[14]中，94.5%的事件是简单的跟车。另一方面，一些数据集如rounD[21]、inD[22]坚持一种复杂的交通位置类型，包括交叉路口和环岛，所以大多数案例是交互式的。当前数据集的低交互性主要体现在两个方面：一是交互的比例小，二是过分强调单一行为（如环岛、换道等），这使得数据分布出现偏差。
由于能够设计高交互性场景，近年来，驾驶模拟器数据集逐渐出现在各种研究中[23]。驾驶模拟器是在虚拟环境中复制真实驾驶情景的工具。除了能够设计场景外，它还具有许多优点，包括能够设计可重复的实验，没有安全和法律风险，以及丰富的数据接口。王等人撰写的文章探讨了如何通过驾驶模拟器研究在动态低能见度环境中确定合理的速度限制以确保交通安全[24]。然而，驾驶模拟器也有一些缺点，最重要的问题是它们的真实性，尽管技术进步已经使模拟器更接近真实车辆[25]。值得注意的是，许多当前数据集选择驾驶模拟器数据作为其主要组成部分，并辅以一部分实车数据集。这允许在丰富的 high-interaction 场景的驾驶模拟器数据集上进行训练，并在实车数据集上进行验证。
数据集案例的评价通常是另一个被忽视的问题。大多数研究将人类驾驶员视为专家，并假设他们的轨迹是基准真相，通过最小化预测与实际行为之间的误差来训练模型[8]。然而，人类驾驶员也会犯错误，使得真实轨迹并非最佳选择。此外，不同驾驶员也有不同的偏好，这导致数据与实际应用之间的差距。因此，应该给出每个案例的驾驶性能评价，以便用户能够对真实轨迹进行全面评估，并相应调整他们的算法[26]。在这项研究中，作者设计了一种决策评估方法，并为所有案例分配评分分数，作为额外的数据来源。
III Method
Driver to Evaluation Dataset
在本工作中，作者提出了D2E数据集，涵盖了从驾驶员状态到评估的全周期数据源。D2E旨在帮助使自动驾驶车辆的智能决策更符合人类驾驶员的主观体验。由于需要从危险和复杂的场景中收集数据，数据集主要采用驾驶模拟器以确保驾驶员的安全和实验的可重复性，并补充了部分真实世界的驾驶数据。对于模拟部分，招募了80名具有不同驾驶经验和特征的合格驾驶员在12个互动场景中驾驶。真实世界的驾驶数据来自江苏省苏州市交通流量大、互动多样的结构化路段上的7名驾驶员。经过手动筛选后，提取了153个20秒的危险场景片段。此外，数据集邀请了40名志愿者观看驾驶员的第一人称视角视频并对驾驶表现进行评分，从而从第三方的角度实现了对驾驶轨迹的主观评价。
Driving Simulator Data Collection
实验设备包括模拟器平台和可穿戴设备，如图1所示。模拟器平台的主要结构包括驾驶舱、场景监视器、运动平台和云服务器。运动平台是一个三自由度模拟平台，能够模拟车辆的垂直、横向和俯仰运动。与运动平台相连的三个显示屏可以真实再现左侧、中央和右侧的实际驾驶视野。主屏幕可以提供后视镜视角和后镜视角的图像。
驾驶舱复制了真实车辆的所有实际操作布局，包括方向盘、油门和刹车踏板、仪表盘、座椅、座椅belt、换挡杆等，确保了驾驶体验的真实性。所有数据都在云服务器上收集、传输和组织。此外，作者还为驾驶员配备了眼动追踪眼镜和可穿戴生理记录器。眼动追踪眼镜可以记录驾驶员的第一人称视角并捕捉实时的注视点。
可穿戴生理记录器包括手腕传感器、手指传感器和耳垂传感器，如图2所示，可以记录如皮肤电活动（EDA）、皮肤温度（SKT）、每分钟心跳数（BPM）、脉搏血氧饱和度（SpO2）等生理数据。最后，通过绝对时间对模拟器数据、眼动追踪数据和生理数据进行对齐。
模拟器数据集中的场景选择对数据集至关重要。高交互性和代表性场景显著增强了模拟器数据集的丰富性，以及在其上训练的模型的泛化能力。在Waymo数据集[15]中，判断交互的标准是智能体之间存在冲突区域。在Argoverse数据集[15]中，交互被预设为不同类别，包括交叉路口和变道。参考这些先前流行的数据集之后，作者基于模拟器软件设计了以下12种场景（a）至（j）。如图3所示，设计场景如下：
图3，以下将列出这些场景。
图3中的（a）至（j）分别代表上述场景条件，其中场景中的红色车辆是自主车辆，白色车辆是其他车辆，一些场景还包括行人、自行车等智能体。红线代表给驾驶员的驾驶任务，黑线代表为每个智能体设定的默认轨迹和速度。值得一提的是，在模拟器软件中，其他智能体具有简单的智能，能够根据周围环境的行为做出反应。
驾驶模拟器数据集涉及80名持牌驾驶员。为了涵盖广泛的决策结果和驾驶轨迹，努力从不同年龄组和不同驾驶经验水平的驾驶员中进行选择。此外，通过问卷调查收集了驾驶员自我评估的驾驶风格以及他们涉及事故的信息。具体信息总结在表1中。
从基本问卷调查的结果来看，驾驶员的性别比接近中国驾驶里程的性别比。年龄分布广泛且均衡，涵盖了青年、中年和老年人。此外，驾驶经验分布广泛。43.75%的参与者驾驶经验超过10年。至于驾驶风格的自我评估，驾驶员普遍倾向于将自己评价得更保守。关于涉及事故的情况，所有选定的驾驶员没有重大事故的历史，超过一半的驾驶员声称没有涉及任何事故。
