EventCLIP：面向事件的物体识别的CLIP适配方法

3.1 背景：基于CLIP的图像分类

CLIP的训练目标是将图像和文本映射到一个联合嵌入空间。 CLIP分别包含用于图像和文本输入的两个编码器。 在训练过程中，给定一批图像-文本对，CLIP使用对比损失最大化正样本对的嵌入之间的余弦相似度，同时最小化负样本对之间的余弦相似度。 CLIP在一个包含4亿个网络爬取的图像-文本数据集合上进行训练。 大规模预训练数据集使得能够整合各种视觉概念，从而增强学习到的特征在下游任务中的迁移能力。

由于CLIP被训练以匹配图像和文本特征，因此它自然地适用于零样本分类。 形式上，设 𝒇 𝒙 为CLIP的图像编码器为图像 𝒙 提取的图像特征。 同时，我们通过将类别名称放入预定义的模板（例如“ 一张[CLASS]的照片 ”）中来构建文本输入，并利用CLIP的文本编码器提取一组 K 特征 W = { 𝒘 i } i = 1 K ，其中 K 表示类别数。 则给定图像 𝒙 预测类别 i 的概率计算如下：

其中 cos ⁡ ( ⋅ , ⋅ ) 表示两个向量之间的余弦相似度， τ 是CLIP学习到的缩放因子。 零样本推理不需要任何领域内训练数据来微调模型，但在二维图像数据集上可以获得与完全监督基线具有竞争力的结果 [50] 。

3.2 零样本事件理解

事件识别方面的先前工作表明，原始事件可以转换为有意义的二维帧，例如边缘图 [13] 。 这促使我们提示在RGB域预训练的视觉语言模型来处理事件相机数据。 由于其公开可用性和在文献中的重要性，我们采用CLIP。 然而，正如我们在实验中将展示的那样，该方法也适用于其他视觉语言模型（VLMs）。

弥合模态差距。 事件相机记录每个感光像素的亮度变化，并输出一系列事件 ℰ = { e i = ( x i , y i , t i , p i ) } ，每个事件由其空间位置 ( x i , y i ) 、触发时间戳 t i 和极性 p i ∈ { − 1 , 1 } 参数化。 由于原始事件是异步和稀疏的，它们被表示为一个集合，这与CLIP所需的网格状表示不同。 为了弥合这种模态差距，我们将原始事件转换为二维帧。 具体来说，我们将事件流 ℰ 分割成 M 个时间窗口 { ℰ i } i = 1 M ，方法是将每 N 个连续事件组合在一起。 与使用固定时间间隔相比，使用事件计数进行分组可以确保更好的抗相机速度鲁棒性 [32] 。 对于每个 ℰ i ，我们通过计算每个像素的正负事件数量来构建一个2通道直方图。 为了获得一个3通道图像，我们首先将直方图归一化到 [ 0 , 1 ] 的范围，然后使用预定义的RGB颜色映射对其进行着色。 最后，按照 Klenk et al. [35] ，我们将空像素设置为纯白色，以获得更好的视觉质量。

零样本分类。 将原始事件转换为 M 二维帧后，我们利用CLIP的图像编码器提取其特征 F = { 𝒇 i } i = 1 M 。 按照 Radford et al. [50] ，我们然后使用类名和手工制作的模板构建文本提示，并使用CLIP提取文本嵌入 W = { 𝒘 i } i = 1 K 。 每个时间窗口的零样本预测可以使用公式 1 计算。 这里，文本模板应该反映关于事件数据的特定领域知识，例如转换后的帧的视觉属性。

为了获得最终的分类输出，我们需要聚合来自 M 个时间窗口的预测。 PointCLIP [79, 87] 也面临着这个问题，因为它们将点云投影到多个视图。 它们只是分配超参数来权衡每个视图的重要性，这些超参数在整个数据集上是固定的。 这是可行的，因为他们考虑的3D点云都与规范姿态对齐，因此不同数据的投影视图遵循相同的顺序（例如，{前、右、后、左、上、下}）。 然而，我们时间窗口的时间顺序取决于事件摄像机的轨迹，这在不同数据样本中变化很大，使得预定义的权重集次优。 受DeepSets [75] 的启发，我们选择顺序不变的集合运算均值池化来平均所有时间窗口的分类概率作为最终预测输出。

3.3 少样本特征自适应

通过事件到帧的转换流程，我们成功地将一个二维CLIP转换为针对“未见过”事件相机数据的零样本事件分类器。 然而，零样本EventCLIP的性能仍然低于专门训练的领域分类器。 为了缩小精度差距，我们考虑少样本设置，其中每个类别都有一些标记示例可用。 数据有限的情况下，不可能微调整个模型，这会导致严重的过拟合。 相反，我们只细化了冻结的CLIP模型提取的特征。

图像特征适配器。 我们的目标是将事件领域知识融入提取的图像特征 { 𝒇 i } i = 1 M 中，以获得细化的表示 { 𝒇 i ∗ } i = 1 M 。 先前的工作只是应用一个多层感知器 (MLP) 来更新特征，因为每个样本只有一个特征向量（二维图像） [14, 69] ，或者视觉特征遵循固定的顺序（三维点云） [79, 87] 。 例如，PointCLIP 将多视图特征连接成一个向量，并将其馈送到基于 MLP 的适配器。 如果我们打乱投影视图的顺序，它们的性能会显著下降。 相反，如上所述，EventCLIP 的最终预测应该是 与顺序无关的 。 因此，我们的图像特征适配器的输出 { 𝒇 i ∗ } i = 1 M 对于输入特征 { 𝒇 i } i = 1 M 应该 是置换等变的 。 此外，我们需要一个能够处理任意数量输入的架构，因为时间窗口的数量 M 在不同样本之间是变化的。 受最近基于 CLIP 的视频分类器 [30] 的启发，我们应用了一个轻量级的两层Transformer编码器 [64] 𝒯 来聚合事件流的时间信息。 为避免过拟合，我们将来自CLIP特征的残差连接到Transformer输出特征 { 𝒇 ~ i } i = 1 M ：

其中 α 是一个超参数，控制原始CLIP知识的比例。 应用视觉适配器后，我们使用更新的图像特征 { 𝒇 i ∗ } i = 1 M 和文本特征 W 来执行分类，就像在零样本设置中一样。 由于具有顺序不变性，我们的少样本EventCLIP 对数据采集过程中不同的相机运动也更鲁棒。

文本特征适配器。 最近，一些工作研究了CLIP文本分支的数据高效微调 [83, 82] 。 正如 He等人[25] 所指出的那样，所有这些方法的目标都是学习一个更好的分类器权重 W = { 𝒘 i } i = 1 K 。 因此，我们遵循他们的方法，采用简单的分类器调优方法 [69] ，通过使用梯度下降法对 W 进行微调。 在我们的初步实验中，分类器调优确实达到了与更复杂的调优方法 [83, 73] 相媲美的性能，同时所需的计算量要少得多。

3.4 EventCLIP的扩展

鲁棒性分类。 现有的基于事件的分类器是从事件数据中从头开始训练的。 这些数据集通常是在有限的环境变化下捕获的 [32] 。 因此，当在看不见的环境中（例如光照或摄像机运动的变化）进行测试时，模型性能会急剧下降。 相反，CLIP是在互联网规模的数据上进行训练的，因此表现出对数据损坏的高鲁棒性。 因此，一个自然的想法是将这两个模型集成起来进行联合预测。 具体来说，我们简单地将预训练的基于事件的分类器和零样本或少样本EventCLIP预测的logit取平均值作为最终输出。 正如我们在实验中将展示的那样，特定领域的事件知识和二维预训练知识能够相互补充，从而实现最先进的模型鲁棒性。

无监督学习。 在许多实际场景中，我们不仅可以访问少量标记数据，还可以访问大量的未标记事件。 这方面的极端情况是无监督学习，其中我们只有原始事件，没有任何标签。 在这两种情况下，我们都可以利用EventCLIP创建伪标签，然后在其上微调模型。 为了生成可靠的伪标签，我们对事件的多个增强版本运行预测，并且只选择预测标签一致的数据。 正式地说，基于事件流在水平翻转和时间反转后应该保持相同的类别这一事实，给定一个事件，我们通过组合应用增强方法来创建它的四个版本。 然后，我们丢弃预测类别不一致的事件。 为了进一步提高标签质量，我们采用阈值 τ 来选择高置信度样本，并且每个类别只取前 k 个预测结果，以平衡模型训练。 请参见附录 C 以了解此设置中的实现细节。

4.1 实验设置

数据集。 在我们的实验中，我们使用了三个公共数据集：N-Caltech [47] 、N-Cars [58] 和N-ImageNet [32] 。 N-Caltech 包含来自101个类别的8246个样本，由一个移动的180 × 240分辨率的ATIS系统 [49] 在显示来自原始RGB Caltech101数据集 [11] 的静态图像的显示器前记录。 相反， N-Cars 提供了在现实世界城市环境中由ATIS系统记录的事件流。 其包含12336个“汽车”类别样本和11693个“背景”类别样本。 与N-Caltech类似， N-ImageNet 是ImageNet的事件相机版本 [9] 。 作为最大的事件相机数据集，它包含178万个事件流和1000个类别。 数据是使用一部移动的480 × 640分辨率三星DVS Gen3事件相机采集的 [59] 。 N-ImageNet还提供了使用不同相机运动和亮度拍摄的测试集变体，作为评估事件分类器鲁棒性的基准。 请参见附录 B ，了解每个变体的详细描述。 对于少样本训练，我们从每个类别中随机抽取一个数据子集。 我们始终报告整个测试集的结果。

基线。 我们将EventCLIP与当前最先进的基于事件的分类器进行比较，即EST [16] 、事件直方图 [41] 、排序时间曲面 [1] 和DiST [32] 。 请参见附录 C ，了解其实现细节。 请注意，我们使用在RGB ImageNet [9] 上预训练的ResNet34 [24] 作为所有基线的主干，遵循其原始论文。 对于DiST和EST，我们还测试了更大的主干，例如ResNet101和ViT-L [10] ，但正如稍后将显示的那样，没有观察到明显的改进。 我们将在下面每个任务中介绍其他基线。

我们的实现细节。 为了将事件流转换为帧，我们将每个时间窗口的事件数量 N 分别设置为N-Caltech上的20000、N-Cars上的10000和N-ImageNet上的70000。 这考虑了每个数据集的事件相机分辨率。 为了对事件进行着色，即，将 2 通道事件直方图转换为 3 通道 RGB 图像，我们只需使用灰度颜色映射，将正负事件计数都乘以 [127, 127, 127]。 对于预训练的 CLIP，我们采用带有 ViT-L/14 [10] 图像编码器的变体。 我们选择“ [CLASS] 的点云图像 ”作为文本模板。

4.2 零样本分类

结果。 表 1 展示了 EventCLIP 的零样本分类精度。 在没有任何领域内训练的情况下，我们的方法在拥有 101 个类别的 N-Caltech 上取得了 69.67% 的精度。 这证明了我们的事件到帧转换管道在桥接 RGB 和事件相机领域方面的有效性。 此外，我们的模型在真实的N-Cars数据集上取得了更高的82.28%的准确率，这证明了其泛化能力。 在具有挑战性的N-ImageNet数据集上，由于缺乏事件领域知识，我们的准确率较低，仅为20.78%。

消融研究。 我们首先研究 表 2 中的事件时间窗口大小 N 。 由于来自N-Cars的事件流通常很稀疏，我们将所有事件转换为一帧，无需消融。 在N-Caltech上，较小的 N 取得了最佳的零样本准确率，但我们选择20,000，因为它在零样本和少样本结果之间取得了更好的平衡。 由于N-ImageNet的相机分辨率更高，我们需要更高的 N = 70 , 000 才能获得最佳性能。 有关 N 的更多消融实验，请参见附录 D.1 。 表 3 消融了不同事件直方图着色的方法。 我们测试了常用的红蓝颜色映射（称为R-B）来可视化事件，它分别将正负事件计数乘以[255, 0, 0]和[0, 0, 255]。 这导致结果变得更差，因为其转换图像的颜色统计数据与CLIP训练的自然图像不同。 我们还设计了一种可学习的方法，该方法通过用两个向量初始化颜色映射并在训练过程中共同优化它们。 这导致了相似的精度，但由于需要反向传播通过沉重的ViT图像编码器，因此需要10 × 倍的计算量。 总体而言，我们的灰度颜色映射效率很高，并减少了输入到CLIP的域差距。

基础模型的一个重要特性是其性能随模型大小的可扩展性。 我们使用 表 4 中CLIP的不同图像编码器来研究这种效应。 在ResNet [24] 和ViT [10] 系列中，EventCLIP的精度随着模型大小的增加而提高。 值得注意的是，尽管ViT-L的参数要少得多，但其性能明显优于RN50 × 64。 原因可能是转换后的事件帧主要捕捉目标边界，因此偏向于形状信息。 研究表明，CNN通常偏向于纹理 [21] ，而ViT更擅长处理形状信息 [45, 63] 。 此观察结果可作为未来设计基于事件的视觉架构的指导方针。 表 5 比较了用于构建文本提示的模板。 在二维视觉任务中常用的模板“ 一张[CLASS]的照片 ”实现了66.57%的零样本准确率。 仅仅在“photo”前加“event camera”会导致更差的结果，因为CLIP没有在事件数据上进行训练。 相反，我们明确地描述了事件帧的视觉属性。 由于事件大多由物体边界触发，“边缘图”和“草图图像”都带来了更好的结果。 令人惊讶的是，用“点云图像”来描述事件帧达到了最高的准确率，这与之前将原始事件视为时空点的工作 [67] 一致。 我们还尝试了使用可学习文本符元进行提示微调 [83] ，其性能相似。 但是，它的训练速度慢了5 × 倍，因为它需要通过沉重的文本编码器进行反向传播。

4.3 少样本分类

设置。 我们在N-Caltech和N-ImageNet上实验了1、3、5、10、20个样本。 由于N-Cars只有两类，我们将样本数量乘以10。 我们使用四种变体的适配器测试了EventCLIP： (i) PointCLIP的MLP视觉适配器 [79] ， (ii) 我们提出的Transformer视觉适配器， (iii) 分类器调优文本适配器 [69] ， 以及 (iv) 结合(ii)和(iii)的联合适配器。 我们还通过用另一个VLM FLIP [40] 替换CLIP来测试我们的泛化能力。

结果。 我们首先在 图3 3 中将使用联合适配器的EventCLIP与基线进行了比较。 所有使用ResNet34骨干网络的基线在不同数据集上的性能都相似，这与之前的观察结果 [32] 一致。 相比之下，EventCLIP实现了显著更高的少样本准确率。 我们在N-Caltech上20-shot的准确率(85.62%)比在整个N-Caltech上训练的EST(81.7%)高出约4%。 请注意，所有基线都是使用在RGB ImageNet上预训练的骨干网络进行初始化的，而RGB ImageNet是创建N-ImageNet的来源。 尽管如此，EventCLIP在所有样本数量上的准确率始终更高。 总体而言，结果证明CLIP的大规模预训练学习了可泛化的表示，从而能够在有限的训练数据下快速适应新的事件相机领域。

为了进行公平的比较，我们还评估了具有更大骨干网络ResNet101和ViT-L的基线。 在有限的数据上直接微调ViT通常会导致严重的过拟合 [10] ，因此我们采用最先进的数据高效ViT训练策略 [62] 。 如图所示，使用ResNet101的DiST获得了相似的性能，而即使采用先进的训练策略，ViT-L的准确率也低得多。 这表明我们的EventCLIP框架的优越性，因为它可以很好地与更大的模型扩展。

最后，我们将CLIP替换为另一个VLM FLIP [40] (称为 EventCLIP (FLIP) )。 与使用CLIP相比，这种变体实现了略低的性能，因为FLIP在RGB图像数据集上的零样本准确率也低于CLIP。 尽管如此，使用FLIP的EventCLIP仍然优于基线，显示了其与基础VLM的通用性。

消融研究。 图 4 比较了EventCLIP在N-ImageNet上与四个特征适配器的性能。 基于Transformer的视觉适配器始终以相当大的优势优于基于MLP的对应方法，这显示了其置换等变属性的重要性。 有趣的是，对文本特征进行适配产生的结果明显优于对图像特征进行适配，这与之前的图像工作 [14, 78] 不同。 这可能是因为与图像相比，事件帧存在更大的领域差距。 最后，同时适配两个分支可以实现最佳性能，且不会出现过拟合问题。 参见附录 D.2 ，了解更多关于N-Caltech和N-Cars的消融实验。

4.4 EventCLIP微调

设置。 少样本特征适配能够以较小的计算和时间开销来提高模型精度。 但是，它的性能仍然低于在整个数据集上训练的基于事件的分类器。 为了表明EventCLIP在更多数据可用时也能达到最先进的性能，我们建议联合微调CLIP的图像编码器和文本特征适配器。

基线。 我们将其与并发工作E-CLIP [81] 进行比较，E-CLIP也使用CLIP，但在训练期间需要 配对的RGB图像 和事件。 E-CLIP是使用完整数据集的当前最先进的方法。 为保证比较的公平性，我们采用与他们相同的 ViT-B/16 主干网络的 CLIP。

结果。 表 6 展示了 EventCLIP 的微调结果。 遵循 E-CLIP 的协议，我们也报告了少样本设置下的准确率。 在 N-Caltech 上，我们在低数据制度下取得了更好的结果。 使用更多数据后，EventCLIP 与 E-CLIP 的性能不相上下。 我们假设这是因为 N-Caltech 的类别极度不平衡，其中一些类别只有 20 个样本。 结果，配对的 RGB 图像为 E-CLIP 提供了大量有用的信息。 N-ImageNet 上每个类别都有大量样本的结果验证了这一点。 无需使用额外数据，EventCLIP 在所有设置下始终优于 E-CLIP，实现了新的最先进性能。