数据精英
年终大冲刺
开车啦!
同时报名还可享更多优惠:
任选2套同报,再减200元!
任选3套
同报
,再减360元!
任选4套
同报
,再减520元!
任选5套
同报
,再减700元!
任选6套
同报
,再减900元!
项目名称:
面向视频行人重识别的特征表达与度量学习方法研究
项目负责人:
高常鑫
依托单位:
华中科技大学
项目参与人:
桑农 教授 华中科技大学
李乐仁瀚 华中科技大学
韩楚楚 华中科技大学
陈洋 华中科技大学
陈科舟 华中科技大学
郑若辰 华中科技大学
项目结题摘要
本项目针对视频监控的行人搜索问题开展研究,主要包括行人检索、行人重识别、行人解析、场景图像解析,具体包括:
(1)行人检索是根据待检索行人的图片,在场景图像中找到该行人出现的位置。从任务的角度看,行人检索包括了行人检测和行人重识别,在实际应用中有更加重要的意义。本项目着重研究准确高效的行人检索方法,提出了两阶段行人检索、一阶段行人检索以及弱监督行人检索方法,极大拓展了行人检索方法在实际视频监控中的应用。
(2)基于图像/视频的行人重识别是根据行人图像或者视频,从检测/跟踪的行人图像/视频中找到对应身份行人。本项目研究基于视频的行人重识别方法、基于互补特征的行人重识别方法、遮挡图像的行人重识别方法、跨域行人重识别方法、基于文本的行人检索方法、身份与相机风格解耦的行人重识别方法、融合属性的行人重识别方法等,解决了实际应用中行人追踪面临的部分重要挑战,有效提升了不同场景下行人重识别的性能。
(3)由于监控场景相对复杂,根据行人整体分析方法往往忽略了行人的局部特征,严重影响了行人重识别的精度。本项目研究像素级别的行人解析方法,获取像素级的行人表征,提出利用人体固有结构特征提升行人解析性能,为行人重识别提供有效的支撑。
(4)监控视频场景图像中包含了公共安全中重要的物体,包括行人、车辆、非机动车等。因此,仅仅关注行人目标不足以准确理解监控视频。在行人追踪任务中,行人和其他物体关系也非常重要,比如行人推自行车,自行车是识别该行人非常有效的特征。
为此,本项目研究场景图像解析技术。同时,虽然场景图像解析方法与行人解析所研究的目标不同,但是其任务非常类似,因此场景图像解析的研究,也可以为行人解析提供技术支撑。
项目结题成果报告
以下研究成果内容摘自项目结题成果报告。该项目报告共计60页,关注城市数据派微信公众号,在
微信公众号
对话框中输入
241122
,即可获得报告全文PDF的下载方式:
1主要研究内容
本项目研究行人重识别的特征表达和度量学校问题,包括行人检索、行人重识别、行人解析、场景图像解析方面的工作,具体介绍如下。
1.行人检索
行人检索是根据待检索行人的图片,在场景图像中找到该行人出现的位置
从任务的角度看,行人检索包括了行人检测和行人重识别,在实际应用中有更加重鲔要的意义。
1.1重识别驱动定位优化的两阶段行人检索方法
行人搜索将行人检测和行人重识别的任务结合到一个完整的系统中,是一项非常具有挑战性的任务。当前性能最高的方法单独地训练检测器和行人重识别模型,将行人搜索任务分为两个独立的阶段。但是,检测阶段的目的是检测到行人,它不能涵盖某些关键属性(例如,背包),甚至会带来一些干扰(例如,附近的人)。因此,这种不连贯的框架具有局限性,即检测阶段无法为接下来的行人重识别阶段提供最佳的检测框。因此行人搜索的结果也会下降。
为了解决上述问题,我们提出了一种由行人重识别驱动的定位优化网络,该网络将行人检测和行人重新识别任务结合到一个端到端的框架中。我们的主要目的是在行人重识别损失的监督下优化检测器,以生产出更可靠的行人检测框。具体来说,我们设计了一个可导的ROI转换层,以通过仿射变换实现裁剪图像的探作。基于该层可以将检测器得到的框转在原图中裁剪出,然后提供给行人重识别网络。因此整个框架能够以端到端的方式进行优化。在行人重识别损失的指导下,将对原始检测框进行调整,以便为行人重识别提供更可靠的检测框。与单独训练
的检测器相比,我们的方法可以明显地消除附近的人和背景等干扰。
另外,一些细粒度的信息也能被关注到,例如背包,这些信息能够在后面的行人重识别中提供有区别力的特征。
此外,我们提出了一种代理三元组损失,以解决在行人搜索任务中无法构造标准三元组损失的问题。
我们的方法在两个大型行人搜索数据集CUHK-SYSU和PRW进行了广泛的评估。
结果证实了我们方法性能的优越性
相关论文发表于国际会议 International Conference on Computer Vision (ICCV)
1.2 基于解耦和记忆增强的一阶段行人检索方法
两阶段行人搜索方法利用两个单独的网络来训练检测和重识别,呈现出较高的检索准确率,但是测试效率较低。而一阶段方式通过共享网络的形式联合训练两个子任务,极大提升了效率,不过准确率较低。为了减少一阶段和两阶段之间的性能差距,我们首先分析了目前一阶段方法中存在的两大挑战:一是子任务之间的优化目标冲突。即行人检测是二分类任务,需要关注行人之间的共性,从而将行人和背景区分开;而行人重识别是多分类任务,需要关注不同行人之间的差异性。二是不一致的记忆池。记忆池中早期存储的特征已经过时,和最新存储特征之间的一致性较低,无法有效的进行特征学习。