基于SAM 2的一个零样本视觉跟踪项目samurai

项目简介

基于SAM 2的一个零样本视觉跟踪项目：samurai，它增加了运动感知记忆来提高跟踪的准确性 实时视觉跟踪，在处理拥挤场景、快速运动物体和自遮挡等复杂动态环境中，能保持稳定的追踪性能。

该存储库是 SAMURAI 的官方实现：使用运动感知内存调整分段任意模型进行零镜头视觉跟踪

入门

SAMURAI 安装

使用前需先安装 SAM 2。该代码需要 python>=3.10 ，以及 torch>=2.3.1 和 torchvision>=0.18.1 。请按照此处的说明安装 PyTorch 和 TorchVision 依赖项。您可以使用以下命令在 GPU 计算机上安装 SAMURAI 版本 的 SAM 2：

cd sam2pip install -e .pip install -e ".[notebooks]"

请参阅原始 SAM 2 存储库中的INSTALL.md ，了解有关潜在问题和解决方案的常见问题解答。

安装其他要求：

pip install matplotlib==3.7 tikzplotlib jpeg4py opencv-python lmdb pandas scipy loguru

SAM 2.1 检查点下载

cd checkpoints && \./download_ckpts.sh && \cd ..

数据准备

请按照以下格式准备数据：

data/LaSOT├── airplane/│   ├── airplane-1/│   │   ├── full_occlusion.txt│   │   ├── groundtruth.txt│   │   ├── img│   │   ├── nlp.txt│   │   └── out_of_view.txt│   ├── airplane-2/│   ├── airplane-3/│   ├── ...├── basketball├── bear├── bicycle...├── training_set.txt└── testing_set.txt

主要推论

python scripts/main_inference.py

自定义视频演示

要使用自定义视频或帧目录运行演示，请使用以下示例：

注意： .txt 文件包含一行，其中第一帧的边界框采用 x,y,w,h 格式。

输入是视频文件

python scripts/demo.py --video_path <your_video.mp4> --txt_path <path_to_first_frame_bbox.txt>

输入是框架文件夹

# Only JPG images are supportedpython scripts/demo.py --video_path  --txt_path