数据精英
年终大冲刺
开车啦！
同时报名还可享更多优惠：
任选2套同报，再减200元！
任选3套
同报
，再减360元！
任选4套
同报
，再减520元！
任选5套
同报
，再减700元！
任选6套
同报
，再减900元！
项目名称：
面向视频行人重识别的特征表达与度量学习方法研究
项目负责人：
高常鑫
依托单位：
华中科技大学
项目参与人：
桑农 教授 华中科技大学
李乐仁瀚 华中科技大学
韩楚楚 华中科技大学
陈洋 华中科技大学
陈科舟 华中科技大学
郑若辰 华中科技大学
项目结题摘要
本项目针对视频监控的行人搜索问题开展研究，主要包括行人检索、行人重识别、行人解析、场景图像解析，具体包括：
（1）行人检索是根据待检索行人的图片，在场景图像中找到该行人出现的位置。从任务的角度看，行人检索包括了行人检测和行人重识别，在实际应用中有更加重要的意义。本项目着重研究准确高效的行人检索方法，提出了两阶段行人检索、一阶段行人检索以及弱监督行人检索方法，极大拓展了行人检索方法在实际视频监控中的应用。
（2）基于图像/视频的行人重识别是根据行人图像或者视频，从检测/跟踪的行人图像/视频中找到对应身份行人。本项目研究基于视频的行人重识别方法、基于互补特征的行人重识别方法、遮挡图像的行人重识别方法、跨域行人重识别方法、基于文本的行人检索方法、身份与相机风格解耦的行人重识别方法、融合属性的行人重识别方法等，解决了实际应用中行人追踪面临的部分重要挑战，有效提升了不同场景下行人重识别的性能。
（3）由于监控场景相对复杂，根据行人整体分析方法往往忽略了行人的局部特征，严重影响了行人重识别的精度。本项目研究像素级别的行人解析方法，获取像素级的行人表征，提出利用人体固有结构特征提升行人解析性能，为行人重识别提供有效的支撑。
（4）监控视频场景图像中包含了公共安全中重要的物体，包括行人、车辆、非机动车等。因此，仅仅关注行人目标不足以准确理解监控视频。在行人追踪任务中，行人和其他物体关系也非常重要，比如行人推自行车，自行车是识别该行人非常有效的特征。
为此，本项目研究场景图像解析技术。同时，虽然场景图像解析方法与行人解析所研究的目标不同，但是其任务非常类似，因此场景图像解析的研究，也可以为行人解析提供技术支撑。
项目结题成果报告
以下研究成果内容摘自项目结题成果报告。该项目报告共计60页，关注城市数据派微信公众号，在
微信公众号
对话框中输入
241122
，即可获得报告全文PDF的下载方式：
1主要研究内容
本项目研究行人重识别的特征表达和度量学校问题，包括行人检索、行人重识别、行人解析、场景图像解析方面的工作，具体介绍如下。
1.行人检索
行人检索是根据待检索行人的图片，在场景图像中找到该行人出现的位置
从任务的角度看，行人检索包括了行人检测和行人重识别，在实际应用中有更加重鲔要的意义。
1.1重识别驱动定位优化的两阶段行人检索方法
行人搜索将行人检测和行人重识别的任务结合到一个完整的系统中，是一项非常具有挑战性的任务。当前性能最高的方法单独地训练检测器和行人重识别模型,将行人搜索任务分为两个独立的阶段。但是,检测阶段的目的是检测到行人，它不能涵盖某些关键属性(例如，背包)，甚至会带来一些干扰(例如，附近的人)。因此，这种不连贯的框架具有局限性，即检测阶段无法为接下来的行人重识别阶段提供最佳的检测框。因此行人搜索的结果也会下降。
为了解决上述问题，我们提出了一种由行人重识别驱动的定位优化网络，该网络将行人检测和行人重新识别任务结合到一个端到端的框架中。我们的主要目的是在行人重识别损失的监督下优化检测器，以生产出更可靠的行人检测框。具体来说，我们设计了一个可导的ROI转换层，以通过仿射变换实现裁剪图像的探作。基于该层可以将检测器得到的框转在原图中裁剪出，然后提供给行人重识别网络。因此整个框架能够以端到端的方式进行优化。在行人重识别损失的指导下，将对原始检测框进行调整，以便为行人重识别提供更可靠的检测框。与单独训练
的检测器相比，我们的方法可以明显地消除附近的人和背景等干扰。
另外，一些细粒度的信息也能被关注到，例如背包，这些信息能够在后面的行人重识别中提供有区别力的特征。
此外，我们提出了一种代理三元组损失，以解决在行人搜索任务中无法构造标准三元组损失的问题。
我们的方法在两个大型行人搜索数据集CUHK-SYSU和PRW进行了广泛的评估。
结果证实了我们方法性能的优越性
相关论文发表于国际会议 International Conference on Computer Vision (ICCV)
1.2 基于解耦和记忆增强的一阶段行人检索方法
两阶段行人搜索方法利用两个单独的网络来训练检测和重识别，呈现出较高的检索准确率，但是测试效率较低。而一阶段方式通过共享网络的形式联合训练两个子任务，极大提升了效率，不过准确率较低。为了减少一阶段和两阶段之间的性能差距，我们首先分析了目前一阶段方法中存在的两大挑战:一是子任务之间的优化目标冲突。即行人检测是二分类任务，需要关注行人之间的共性，从而将行人和背景区分开;而行人重识别是多分类任务，需要关注不同行人之间的差异性。二是不一致的记忆池。记忆池中早期存储的特征已经过时，和最新存储特征之间的一致性较低，无法有效的进行特征学习。
