顶刊TIP 2025！北大、清华等提出多目标跟踪新方法TOPICTrack、新数据集BEE24

TDRL：受到蜂群复杂运动模式的启发，本文提出了一种 融合运动与外观特征的并行关联跟踪新范式 ，并构建了一个极具挑战性的大规模基准数据集 BEE24。

论文标题：

TOPIC:A Parallel Association Paradigm for Multi-Object Tracking under Complex Motions and Diverse Scenes

论文地址：

https://ieeexplore.ieee.org/document/10851814

代码仓库：

https://github.com/holmescao/TOPICTrack

数据集主页：

https://holmescao.github.io/datasets/BEE24

效果展示：

▲ 图1.1：TOPICTrack在BEE24数据集的跟踪结果

导语

视频数据和算法的进步推动了多目标跟踪（MOT）领域的发展。现有的 MOT 数据集主要关注遮挡和外观相似性问题，而复杂的运动模式虽广泛存在，却常被忽视。

为了解决这一问题，我们提出了一个新数据集—— BEE24 ，旨在突出展示复杂的运动场景。BEE24 特别具有挑战性，因为它 要求跟踪多个外观相似且运动复杂的小蜜蜂，并且这些物体的运动持续时间较长 ，这十分贴近实际需求（如蜜蜂养殖和无人机群体监控）。

身份关联算法一直是 MOT 研究的核心。现有的跟踪算法大致可以分为两类：单特征范式（基于运动或外观特征）和串行范式（通过将一种特征作为主特征，另一种作为辅特征）。

然而，这些传统范式无法充分利用不同特征之间的互补性。本文提出了一种 全新的并行范式 ，并介绍了 双轮并行匹配方法 TOPIC 。TOPIC 能够结合运动和外观特征，并根据运动复杂度自适应选择最合适的特征作为匹配度量。

此外，我们还设计了一个 基于注意力机制的外观重建模块 AARM ，该模块能够重构外观特征嵌入，从而增强外观特征的表示能力。

综合实验结果表明，我们的方法在四个公开数据集以及 BEE24 上均取得了领先的性能表现。值得注意的是，我们提出的并行范式大幅超越了现有的关联范式。例如，与单特征关联范式相比，我们的方法能将错误负例减少 6% 至 81%。

‍ ‍

背景与动机

多目标跟踪（MOT）是计算机视觉领域的重要子领域，广泛应用于机器人导航、智能监控和人机交互等多个领域。在 MOT 任务中，研究者们需要从视频帧中检测出感兴趣物体的位置，并将其身份跨帧关联起来。随着技术的不断进步，数据集的构建与算法优化成为推动多目标跟踪系统性能提升的关键。

2.1 数据集的局限性与突破

在现有的 MOT 数据集中，研究者通常采用两种主要的方式来应对不同场景的挑战：一是通过扩展场景多样性或物体类别，如 GMOT-40 数据集；二是关注特定挑战，如遮挡（如 MOT17、MOT20 数据集）或高相似度的外观（如 DanceTrack 数据集）。

然而，这些数据集中的运动模式相对简单，多数物体的运动模式类似，且缺乏足够的变化性，这在实际应用中可能无法有效应对复杂的运动场景。例如，蜂群在蜂箱周围运动时，不仅会在飞行、爬行等多种模式之间频繁切换，而且其运动速度呈现出明显的非线性变化，如图 2。

为了应对这种复杂运动的跟踪问题，我们提出了一个全新的数据集——BEE24，专注于展示复杂的运动模式。BEE24 在两个关键方面丰富了数据特性：一是不同物体在同一帧内的运动差异，二是物体在帧间运动的显著变化。

▲ 图2：对比不同MOT数据集的特性

2.2 算法的局限性与突破

▲ 图3：对比MOT算法的数据关联范式

许多现有的跟踪算法自 2016 年 DeepSORT 以来，都遵循了串行关联范式。该范式利用某一特征（如外观特征或运动特征）初步筛选候选匹配，再利用另一特征进行主匹配，如图 3b。

然而，这种方法未能充分利用不同特征的优势，且筛选过程可能导致跟踪的遗漏（即假阴性）。最近的研究如 ByteTrack 和 OC-SORT 采用了基于单一特征的关联范式（如图 3a），单纯依赖运动特征。这种方法在某些数据集上的表现优于基于两个特征的串行范式，但由于检测器的差异，这些比较未必公平。

根据我们对不同特征表现的分析，低速场景下（如 MOT17 和 DanceTrack），由于运动较简单，运动特征更有效；而在高速场景中（如 BEE24 和 GMOT-40），复杂的非线性运动使得基于运动特征的模型面临挑战，这时外观特征的表现更佳。

考虑到上述不同特征在不同场景中的优势，直观的想法是将更多特征结合使用，从而提升性能。为此，我们提出了一个新的并行关联范式，并设计了 TOPIC （Two rOund Parallel matchIng meChanism）方法来实现这一范式。

TOPIC 能够同时使用运动和外观特征作为匹配度量，并根据运动复杂度自适应选择最优特征，从而减少假阴性（FN）的出现。与传统的串行匹配范式相比，这种并行范式能够更有效地利用不同特征之间的互补性。

此外，我们还提出了一个基于注意力机制的外观重建模块（AARM），用于增强物体的外观特征表示，提高物体在多帧间的区分度。

BEE24数据集简介

▲ 表1：对比MOT数据集统计特性

如表 1 所示，与现有的 MOT 数据集相比，BEE24 在多个方面具有显著的优势和挑战：

1. 复杂的运动模式 ：BEE24 数据集的运动模式更加复杂，物体在同一帧内的运动差异较大（MMSAO），且单个物体的运动随时间变化大（MMSO）。这与许多现有数据集中的线性或低速运动形成鲜明对比，如图 2 和 4。

2. 小物体跟踪 ：BEE24 中的蜜蜂是最小的目标之一，平均物体面积远小于 GMOT-40 等数据集中的物体，这增加了跟踪算法在小物体检测和跟踪方面的挑战。

3. 大规模标注 ：数据集包含总计 446,908 个标注，最大视频时长达到 200 秒，单视频的标注数量和最大时长均超过了大部分现有数据集，尤其是在高密度场景下的跟踪任务中，BEE24 为算法提供了更多挑战。

▲ 图4：对比不同MOT数据集的运动复杂性

算法简介

4.1 并行匹配范式：TOPIC方法

TOPIC 的核心思想是同时利用运动特征和外观特征进行匹配，并通过两轮匹配机制解决可能的匹配冲突。在第一轮匹配中，通过匈牙利算法分别计算基于外观和基于运动的匹配结果。

然后，对于冲突的匹配，TOPIC 根据运动水平自适应地选择更可靠的特征进行最终匹配。这一机制有效减少了假阴性（FN），提高了整体的跟踪准确性。如算法 1 的伪代码所示。

4.2 基于注意力的外观重建模块：AARM

AARM 采用基于余弦距离的注意力机制，通过计算历史轨迹和当前检测的相似性来增强外观特征的表示。通过这种方式，AARM 能够改善同一物体在不同帧间的相似度，同时增强不同物体之间的区分度。

AARM 的工作原理是，首先为每个目标计算出跨帧的注意力图，然后通过残差机制对外观特征进行重建，从而提升相同物体的相似性，并减少不同物体之间的混淆，如图 5 所示。此外，该模块无需训练且即插即用。

▲ 图5：AARM的原理图

主要实验结果

为了验证提出方法的有效性和优越性，我们在 MOT17、MOT20、DanceTrack、GMOT-40 和 BEE24 共 5 个数据集和多个主流跟踪算法（如 FairMOT、ByteTrack 等）上进行了详尽的实验，主要的实验结果如下。

5.1 TOPIC的有效性

与其他关联范式相比，我们提出的 TOPIC 在 5 个数据集中的大多数关键指标上实现了 1% 以上的精度提升，如表 2。通过可视化 TOPIC 的匹配机制（见图6），我们展示了其如何在不同的运动水平下，自适应地切换外观和运动特征，显著提升了复杂场景中的跟踪效果。

▲ 表2：TOPIC和AARM的有效性验证实验

▲ 图6：TOPIC的匹配过程可视化

5.2 AARM的有效性

在对比实验中，我们发现 AARM 在不同跟踪器中均能够一致地显著提高跟踪性能，并能即插即用（见表2）。我们进一步揭示了 AARM 的在目标外观表征的能力，它在所有 5 个数据集上实现了最小的类间相似度（InterCS）和最高的类内相似度（IntraCS），降低了数据关联的难度，如图7。

5.3 速度与精度的平衡

如图 8 所示，尽管引入 Re-ID 模块会略微增加计算时间，但其对跟踪精度的提升是显著的。特别是在运动复杂的场景中，TOPICTrack 能够以更高的精度和较低的计算开销达到最佳的跟踪效果。

5.4 基准测试

通过在 5 个数据集上的对比，TOPICTrack 在多个关键指标上超越了主流算法，达到了新 SOTA（见表3-7）。通过分析不同数据集的目标特性，我们发现 TOPICTrack 在处理复杂运动、遮挡以及外观相似度高的目标时，表现尤为突出。

▲ 表3： 与主流跟踪算法在MOT17测试集的性能对比