探索机器人操作的视觉预训练：数据集、模型和方法

23年8月来自字节、东南大学和清华的论文“Exploring Visual Pre-training for Robot Manipulation: Datasets, Models and Methods”。

利用大规模真实数据进行视觉预训练取得了巨大进展，在通过像素观察进行机器人学习方面展现出巨大潜力。然而，用于机器人操作任务的视觉预训练方法尚未建立。本文从三个基本角度深入研究视觉预训练策略对机器人操作任务的影响：预训练数据集、模型架构和训练方法。提供一些有益于机器人学习的重要实验结果。此外，提出一种用于机器人操作的视觉预训练方案 Vi-PRoM ，它结合自监督学习和监督学习。具体而言，前者采用对比学习从大规模未标记数据中获取底层模式，而后者旨在学习视觉语义和时间动态。在各种模拟环境和真实机器人中对机器人操作进行大量实验。

如图所示：机器人操作的视觉预训练的通用路径

1）预训练数据集：ImageNet [27] 最近被广泛用于各种下游任务的自监督预训练。然而，ImageNet 缺乏目标之间的动态交互，因此可能不适合用作机器人操作任务的预训练数据。

本文提出了一个新的基准，称为 EgoNet ，用于预训练机器人操作的视觉编码器。它包含近 500,000 个视频片段，涵盖数百种场景，并且具有丰富的人与目标的交互。EgoNet 是基于 Ego4D [9] 构建的。通过实验为每个旁白截取一段时长为 1 秒的短片。通过该策略，共收集到50.3万个包含人与物交互的视频片段。注意，Ego4D中的视频帧率为30 fps。经过10倍均匀下采样后，获得总共包含约150万个视频帧的 EgoNet ，训练样本数量与ImageNet相当。

2）模型架构：视觉编码器的架构也是决定机器人操作任务性能的重要因素。为了探索其效果，选择了三个典型模型，即基于卷积的ResNet- 34 [28]，ResNet-50 [28]和ResNet-101 [28]，它们已成为视觉表示提取的事实标准。通过这种方式，可以深入了解哪些架构对机器人操作任务更有益。

3）预训练方法：学习目标直接决定模型可以从数据集中学习的表示类型。对比学习和掩码图像建模是自监督学习中两种最流行的预训练方法，自然也是本文的主要探索目标。对比学习，旨在鼓励同一幅图像的两个不同增强视图之间的特征相似性，但抑制不同图像之间的相似性。掩码图像建模，则依靠重建输入图像的随机掩码块。本文分别选择 MoCo-v3 [8] 和 MAE（掩码自动编码器）[15] 进行对比学习和掩码图像建模。

基于上述探索，提出机器人操作的视觉预训练方案 ( Vi-PRoM )，该方案在 EgoNet 数据集上预训练 ResNet-50，以提取用于机器人操作的全面视觉表征。具体来说，首先采用对比学习以自监督的方式从 EgoNet 数据集中获取人与目标的交互模式。然后提出了两个额外的学习目标，即视觉语义预测和时间动态预测，进一步丰富编码器。

如图所示Vi-PRoM 的流程。首先构建 EgoNet 数据集作为预训练数据。首先使用对比学习对 ResNet-50 进行预训练，使模型能够学习通用的视觉表征。然后，联合应用帧顺序和伪标签预测任务，鼓励模型捕获时间和语义视觉表征。请注意，伪标签是由在 ImageNet 上预训练的 ResNet-101 模型自动生成的，无需手动标记。最后，利用预训练模型提取机器人操作任务的视觉表征。