专栏名称: 城市数据派
城市数据派Urban Data Party:专业的城市大数据媒体和知识服务平台。关注点:大数据、新数据、新技术、智慧城市、城市与交通规划、信息化。 网址:www.udparty.com
相关文章推荐
OFweek维科网  ·  董事长副总同日辞职!500亿能源巨头高层巨变 ·  3 天前  
OFweek维科网  ·  欣旺达/新能安/阳光/蜂巢/鹏辉/比克/远东 ... ·  4 天前  
半导体行业联盟  ·  AI + 智能硬件-深圳大会! ·  昨天  
半导体行业联盟  ·  存储界 ... ·  2 天前  
半导体行业联盟  ·  存储涨价来袭,三分钟了解存储芯片! ·  昨天  
51好读  ›  专栏  ›  城市数据派

【优秀基金成果】面向视频行人重识别的特征表达与度量学习方法研究丨城市数据派

城市数据派  · 公众号  ·  · 2024-11-22 11:50

正文


数据精英 年终大冲刺 开车啦!

同时报名还可享更多优惠:

任选2套同报,再减200元!

任选3套 同报 ,再减360元!

任选4套 同报 ,再减520元!

任选5套 同报 ,再减700元!

任选6套 同报 ,再减900元!

加我获取每套课程详细介绍
加我咨询和报名课程



项目基本信息

项目名称: 面向视频行人重识别的特征表达与度量学习方法研究

项目负责人: 高常鑫

依托单位: 华中科技大学


项目参与人:

桑农 教授 华中科技大学

李乐仁瀚 华中科技大学

韩楚楚 华中科技大学

陈洋 华中科技大学

陈科舟 华中科技大学

郑若辰 华中科技大学


项目结题摘要

本项目针对视频监控的行人搜索问题开展研究,主要包括行人检索、行人重识别、行人解析、场景图像解析,具体包括:


(1)行人检索是根据待检索行人的图片,在场景图像中找到该行人出现的位置。从任务的角度看,行人检索包括了行人检测和行人重识别,在实际应用中有更加重要的意义。本项目着重研究准确高效的行人检索方法,提出了两阶段行人检索、一阶段行人检索以及弱监督行人检索方法,极大拓展了行人检索方法在实际视频监控中的应用。


(2)基于图像/视频的行人重识别是根据行人图像或者视频,从检测/跟踪的行人图像/视频中找到对应身份行人。本项目研究基于视频的行人重识别方法、基于互补特征的行人重识别方法、遮挡图像的行人重识别方法、跨域行人重识别方法、基于文本的行人检索方法、身份与相机风格解耦的行人重识别方法、融合属性的行人重识别方法等,解决了实际应用中行人追踪面临的部分重要挑战,有效提升了不同场景下行人重识别的性能。


(3)由于监控场景相对复杂,根据行人整体分析方法往往忽略了行人的局部特征,严重影响了行人重识别的精度。本项目研究像素级别的行人解析方法,获取像素级的行人表征,提出利用人体固有结构特征提升行人解析性能,为行人重识别提供有效的支撑。


(4)监控视频场景图像中包含了公共安全中重要的物体,包括行人、车辆、非机动车等。因此,仅仅关注行人目标不足以准确理解监控视频。在行人追踪任务中,行人和其他物体关系也非常重要,比如行人推自行车,自行车是识别该行人非常有效的特征。


为此,本项目研究场景图像解析技术。同时,虽然场景图像解析方法与行人解析所研究的目标不同,但是其任务非常类似,因此场景图像解析的研究,也可以为行人解析提供技术支撑。


项目结题成果报告

以下研究成果内容摘自项目结题成果报告。该项目报告共计60页,关注城市数据派微信公众号,在 微信公众号 对话框中输入 241122 ,即可获得报告全文PDF的下载方式:



研究工作主要进展等(部分摘取)

1主要研究内容

本项目研究行人重识别的特征表达和度量学校问题,包括行人检索、行人重识别、行人解析、场景图像解析方面的工作,具体介绍如下。


1.行人检索

行人检索是根据待检索行人的图片,在场景图像中找到该行人出现的位置 从任务的角度看,行人检索包括了行人检测和行人重识别,在实际应用中有更加重鲔要的意义。


1.1重识别驱动定位优化的两阶段行人检索方法

行人搜索将行人检测和行人重识别的任务结合到一个完整的系统中,是一项非常具有挑战性的任务。当前性能最高的方法单独地训练检测器和行人重识别模型,将行人搜索任务分为两个独立的阶段。但是,检测阶段的目的是检测到行人,它不能涵盖某些关键属性(例如,背包),甚至会带来一些干扰(例如,附近的人)。因此,这种不连贯的框架具有局限性,即检测阶段无法为接下来的行人重识别阶段提供最佳的检测框。因此行人搜索的结果也会下降。



为了解决上述问题,我们提出了一种由行人重识别驱动的定位优化网络,该网络将行人检测和行人重新识别任务结合到一个端到端的框架中。我们的主要目的是在行人重识别损失的监督下优化检测器,以生产出更可靠的行人检测框。具体来说,我们设计了一个可导的ROI转换层,以通过仿射变换实现裁剪图像的探作。基于该层可以将检测器得到的框转在原图中裁剪出,然后提供给行人重识别网络。因此整个框架能够以端到端的方式进行优化。在行人重识别损失的指导下,将对原始检测框进行调整,以便为行人重识别提供更可靠的检测框。与单独训练 的检测器相比,我们的方法可以明显地消除附近的人和背景等干扰。 另外,一些细粒度的信息也能被关注到,例如背包,这些信息能够在后面的行人重识别中提供有区别力的特征。 此外,我们提出了一种代理三元组损失,以解决在行人搜索任务中无法构造标准三元组损失的问题。 我们的方法在两个大型行人搜索数据集CUHK-SYSU和PRW进行了广泛的评估。 结果证实了我们方法性能的优越性 相关论文发表于国际会议 International Conference on Computer Vision (ICCV)


1.2 基于解耦和记忆增强的一阶段行人检索方法

两阶段行人搜索方法利用两个单独的网络来训练检测和重识别,呈现出较高的检索准确率,但是测试效率较低。而一阶段方式通过共享网络的形式联合训练两个子任务,极大提升了效率,不过准确率较低。为了减少一阶段和两阶段之间的性能差距,我们首先分析了目前一阶段方法中存在的两大挑战:一是子任务之间的优化目标冲突。即行人检测是二分类任务,需要关注行人之间的共性,从而将行人和背景区分开;而行人重识别是多分类任务,需要关注不同行人之间的差异性。二是不一致的记忆池。记忆池中早期存储的特征已经过时,和最新存储特征之间的一致性较低,无法有效的进行特征学习。







请到「今天看啥」查看全文