NIPS 2024 | 在恶劣天气下使用融合块和时空师生学习进行端到端语义分割

小白学视觉 · 公众号 · · 2024-12-28 20:20

正文

点击下方“ 计算机书童 ”卡片，每天获取顶刊论文解读

点击加入论文投稿、写作、阅读分享交流群

完整版论文中文解读PDF请加入知识星球获取

论文信息

题目：End-to-End Video Semantic Segmentation in Adverse Weather using Fusion Blocks and Temporal-Spatial Teacher-Student Learning

在恶劣天气下使用融合块和时空师生学习进行端到端语义分割

作者：Xin Yang, Yan Wending, Michael Bi Mi, Yuan Yuan, Robby T. Tan

论文创新点

端到端无光流领域自适应策略 ：作者提出了第一个端到端的、 无光流 的视频领域自适应策略，专门针对 恶劣天气条件 下的真实世界视频。
融合块的设计与应用 ：作者设计了一个 融合块 ，通过 可变形卷积层 匹配相邻帧的相关像素，并将这些信息融合到当前帧的预测中。
时空师生学习框架 ：作者引入了一种 时空师生学习方法 ，包括一个 时间教师 和一个 空间教师 ，共同指导学生模型。时间教师负责从相邻帧中提取时间信息，而空间教师则专注于当前帧的空间信息。
时间天气退化增强策略 ：为了更好地模拟恶劣天气条件下的视觉退化，作者提出了一种 时间天气退化增强策略 。该策略将相关的增强应用于连续帧中的相同或接近位置，并逐步改变强度，从而使模型能够更好地应对真实世界中的天气退化。

摘要

恶劣天气条件会显著降低视频帧的质量，导致当前视频语义分割方法的预测错误。此外，这些方法依赖于准确的光流，而在恶劣天气下光流变得不可靠。为了解决这个问题，作者引入了新颖的方法：第一个端到端、无光流、领域自适应的视频语义分割方法。通过融合块和时空教师，作者的方法强制模型主动利用相邻帧的时间信息。融合块的关键思想是通过匹配和合并相邻帧中的相关像素来提供一种合并信息的方式。时空教师的基本思想涉及两个教师：一个专注于探索相邻帧的时间信息，另一个则利用当前帧的空间信息并协助时间教师。最后，作者对连续帧应用时间天气退化增强，以更准确地表示恶劣天气的退化。作者的方法在从VIPER [28] 和 Synthia [29] 到 MVSS [18] 的适应中分别实现了 25.4% 和 33.0% 的 mIoU，相较于现有最先进的方法分别提高了 4.3% 和 5.8% 的 mIoU。

3 提出的方法

作者提出的方法旨在使用UDA方法训练一个能够处理恶劣天气条件的视频语义分割模型。与现有方法不同，作者的方法在不需要光流的情况下高效运行。在源管道中，作者利用合成数据集及其相应的真实标签进行监督训练。该管道接收两个输入：当前帧和相邻帧。在对当前帧和相邻帧应用时间天气退化增强后，它们被输入到作者的网络中。随后，网络分别处理这两个输入，为每个帧生成单独的特征图集。这些特征图由融合块融合，生成当前帧的最终预测。基于预测和当前帧的真实标签计算监督损失：

其中，H和W分别是图像的高度和宽度，C是类别数量，来自真实标签，指示类别标签c是否是位置(i,j)处的像素的正确分类，是位置(i,j)处的像素属于类别c的预测概率，N是计算中考虑的像素总数。

对于目标管道，作者使用从恶劣天气条件下捕获的真实世界视频帧，没有真实标签。在该管道中，作者实现了一个时空师生系统，涉及两个教师模型：时间教师和空间教师，以及一个学生模型。时间教师处理两个完整帧，并使用其预测作为时间伪标签。对于学生模型，作者使用完整的相邻帧，并从当前帧生成一个裁剪的片段。与源管道类似，作者对当前帧的裁剪片段和完整的相邻帧应用时间天气退化增强。这些增强帧随后被输入到学生模型中。时间一致性损失确保了学生模型从各种增强中得出的预测与时间教师提供的伪标签对齐。因此，使用当前帧的裁剪片段迫使学生主动从相邻帧中提取时间信息。同时，时间天气退化增强使学生模型能够处理真实世界条件，其中天气特定退化通常跨越连续帧。

此外，空间教师被提供了一个高分辨率的裁剪片段，没有任何增强。该教师在融合块之前的预测作为空间伪标签。然后应用空间一致性损失，将学生模型在融合块之前的预测与空间伪标签进行比较。这个过程旨在指导学生模型有效利用当前帧的空间信息。

时空师生学习

师生学习范式在基于图像的UDA中越来越多地被使用。在这种方法中，教师和学生模型共享相同的架构。教师模型的参数通过学生模型权重的指数移动平均（EMA）更新，而学生模型通过自定义损失函数进行反向传播优化。

在作者提出的方法中，作者引入了一个双教师系统，共同指导学生模型。该系统包括一个时间教师，负责增强模型从连续帧中提取时间信息的能力，以及一个空间教师，专注于从当前帧中提取和利用空间细节。值得注意的是，时间教师的架构与学生模型相同，而空间教师则省略了融合块。这种架构差异如图2所示。

在时间维度上，作者的模型设计为能够自给自足地从连续帧中提取时间信息，与传统方法依赖预训练光流进行信息扭曲不同。这是通过向学生模型提供一个随机裁剪的矩形片段（占当前帧的25%）以及其完整的相邻帧来实现的。矩形的位置在每次训练迭代中随机选择。因此，在整个训练过程中，模型会遇到不同的情况，其中裁剪区域的位置和内容各不相同。相比之下，时间教师处理整个当前帧。然后，融合块结合两个完整帧的特征图，利用它们生成伪标签。

在空间上，作者在目标管道中的方法集成了[13]中描述的已验证方法。作者采用这种方法以确保学生模型能够忠实地整合当前帧的信息；它特别包括在内，以在学生模型学习整合时间信息的同时保持和可能提高模型的空间准确性。对于学生模型，特征图从当前帧的裁剪片段中提取，然后引入融合块。相反，空间教师被提供了一个高分辨率的相同裁剪片段，从中我们也提取特征图，然后到达融合块。作者直接对特征图应用空间一致性损失，以使学生的学习与空间教师的学习对齐。

时间天气退化增强

恶劣天气条件在视觉任务中引入了两类主要退化：随机干扰，如噪声和遮挡，以及特定天气相关的退化，如低光、眩光和雾。这些退化在连续帧中的相似位置发生，但由于物体和摄像机的移动，强度有所变化。

作者的模型旨在通过利用连续帧的时间信息来对抗这些退化。作者的目标是通过对强度变化的详细分析，训练模型准确识别被天气特定退化遮挡的真实场景。为此，作者模拟了天气引起的损害，包括模糊、眩光以及亮度和色度的变化，应用于源管道中的源图像和目标管道中用于学生模型的目标图像。这些增强始终应用于连续帧中的相应区域，强度逐渐变化，以模拟天气相关视觉退化的动态特性。增强的示例如图4所示。

此外，一致性损失用于确保增强帧的预测与相应的真实标签或伪标签对齐。因此，这些增强策略性地训练模型通过利用帧间退化强度的变化来辨别天气引起的视觉扭曲背后的真实场景。

总体而言，作者的管道可以描述如下：设帧t的输入图像为，学生编码器为，教师编码器为。作者定义学生融合块为，教师融合块为。因此，对于时间管道，作者施加以下一致性：

其中，表示时间天气退化，表示模型仅提供当前帧的裁剪片段。通过强制这种一致性，作者鼓励学生模型与教师模型的表现对齐。因此，学生模型学习在有效利用的信息的同时，对天气退化具有鲁棒性，以补偿裁剪的当前帧中缺失的细节。

NIPS 2024 | 在恶劣天气下使用融合块和时空师生学习进行端到端语义分割

正文

点击下方“ (adsbygoogle = window.adsbygoogle || []).push({}); 计算机书童 ”卡片，每天获取顶刊论文解读 点击加入论 文投稿、写作、阅读分享交流群 完整版论文 中文解读PDF请加入知识星球获取 论文信息

点击加入论 文投稿、写作、阅读分享交流群 完整版论文 中文解读PDF请加入知识星球获取

论文信息