攥稿人:linolzhang
编辑: Amusi
出处:https://zhuanlan.zhihu.com/p/34716633
前文回顾
【重磅】TensorFlow中文社区论坛上线啦!
【CVPR 2018 行人重识别】相关论文介绍(上)
深度学习与神经网络概述
前戏
上次Amusi很荣幸邀请
linolzhang
大佬分享关于深度学习的
行人重识别方向
相关论文整理的文章。由于篇幅有限,上次只介绍了部分论文内容和文献,本文将继续介绍CVPR 2018上关于Re-ID的论文,文中介绍的论文都来自于
CVPR(计算机视觉顶级会议)
。
正文
预料之中,CVPR2018的文章大爆发,初步统计有30几篇,风口即将点燃,大家一起努力!
>> 文章列表(下):
1. Mask-guided Contrastive Attention Model for Person Re-Identification
2. A Pose-Sensitive Embedding for Person Re-Identification with Expanded Cross Neighborhood Re-Ranking
3. Disentangled Person Image Generation
4. Diversity Regularized Spatiotemporal Attention for Video-based Person Re-identification
5. Efficient and Deep Person Re-Identification using Multi-Level Similarity
6. Exploit the Unknown Gradually One-Shot Video-Based Person Re-Identification by Stepwise Learning
7. Exploiting Transitivity for Learning Person Re-identification Models on a Budget
8. Features for Multi-Target Multi-Camera Tracking and Re-Identification
貌似改名了:Good Appearance Features for Multi-Target Multi-Camera Tracking
9. Human Semantic Parsing for Person Re-identification
10. Multi-Level Factorisation Net for Person Re-Identification
11. Multi-shot Pedestrian Re-identification via Sequential Decision Making
12. Person Re-identification with Cascaded Pairwise Convolutions
13. Resource Aware Person Re-identification across Multiple Resolutions
14. Unsupervised Person Image Synthesis in Arbitrary Pose
15. Group Consistent Similarity Learning via Deep CRFs for Person Re-Identification
16. Video Person Re-identification with Competitive Snippet-similarity Aggregation and Co-attentive Snippet Embedding
17. Attention-aware Compositional Network for Person Re-Identification
18. Deep Group-shuffling Random Walk for Person Re-identification
19. Easy Identification from Better Constraints: Multi-Shot Person Re-Identification from Reference Constraints
20. Eliminating Background-bias for Robust Person Re-identification
21. End-to-End Deep Kronecker-Product Matching for Person Re-identification
22. Deep Mutual Learning
>> 简要介绍
1. Adversarially Occluded Samples For Improving Generalization of Person Re-identification Models
来自自动化所 黄凯奇 组
算法提出采用对抗网络(GAN)来生成遮挡样本,由于生成的样本能够屏蔽掉原来的一些特征,从而导致网络去学习另一部分特征,由此可以挖掘出一些潜在Feature。
借鉴了 Hard Mining 的思想,思路比较简单,感兴趣的可以复现一下。
2. Harmonious Attention Network for Person Re-Identification
来自伦敦大学的工作
文章提出一种轻量级框架: jointly deep learning attention selection
主要贡献包括:
1)提出了一种新的联合学习多粒度
Attention Selection
和特征表示的方法,来优化re-id问题;
据作者了解,这是采用联合深度学习multiple complementary attention来解决re-id问题的第一次尝试。
注:可以理解为多个attention model
2)提出了一种 Harmonious Attention CNN(HA-CNN);
在任意的person boxes内,可以同步学习hard region-level 和 soft pixel-level attention。同时生成re-id的特征表示,这种表示能够最大化 attension选择和特征判别之间的 相关互补信息。
这是通过设计的轻量级的HA 模块来实现的,通过multi-task 和 end-to-end学习,能够有效的学习共享re-id特征表示的不同的attension 类型。
3)提出了一个cross-attension交叉学习机制,进一步提高不同attention selection 和 re-id判别约束的特征表示之间的兼容性。
HA-CNN网络示意:
在常用数据集上有明显提升:
HA(hard-region)和SA(soft pixel) 在不同Level下的可视化效果:
3. Camera Style Adaptation for Person Re-identfication
来自厦门大学 钟准,郑良大神参与指导
通过 CycleGAN 完成图像 style 迁移,这篇文章发布的时间比较长了,可能很多人都看过,不再详述。
4. Person Transfer GAN to Bridge Domain Gap for Person Re-Identification
北京大学团队
通过对抗网络实现不同 数据集之间的图片迁移,算法和 Camera Style 差异性不太大,大概了解一下idea就可以了,比较突出的贡献是提出了一个大的数据集 MSMT17。
> 数据采集时长约为180小时
> 总共有15个相机,其中12个室外相机,3个室内相机
> 行人框由Faster RCNN机标完成
> 最后总共有4101个行人的126441个bounding boxes
5. Unsupervised Cross-dataset Person Re-identification by Transfer Learning of Spatial-Temporal Patterns
无监督学习,取得了接近监督学习的效果,
6. Mask-guided Contrastive Attention Model for Person Re-Identification
来自中科院自动化所团队
算法基于目标分割的方式,通过去除背景达到比较好的效果,思路并不太新颖,有兴趣的童鞋可以看一下。
7. Features for Multi-Target Multi-Camera Tracking and Re-Identification
来自杜克大学,杜克大学在目标跟踪上做的是不错的【page link】
文章贡献包括:
1)自适应加权的 Triplet Loss
2)一种新的Hard mining技术
算法超过了DukeMTMC tracking、Market-1501和 DukeMTMC-ReID 三项Benchmark。
算法提供了代码和演示视频,可以测试看一下效果。
文章描述了MTMCT 和 re-id loss 的区别,MTMCT 重在pairwise的比较(训练很昂贵),而re-id强调的是Rank,0 MTMCT loss 隐含了 0 Re-id loss,反之则不然。
作者发现在适度拥挤的场景下,提升re-id的精确可能会导致 MTMCT 性能下降。
采用最先进的 Detector,结合最先进的相关聚类方法,为了减少计算复杂度,还加入了标准层次推理和滑窗技术,看一下pipeline:
算法在 MTMCT 和 Re-ID 任务上的表现都很好:
补充一篇工程化文章
Multi-Target, Multi-Camera Tracking by Hierarchical Clustering:
Recent Progress on DukeMTMC Project
旷世的一篇文章
针对 DukeMTMC,提出一种多目标,多相机 跟踪方法,步骤包括:
- 检测
两种方法,public的,和自己采用 Faster RCNN 的方法。
- 特征提取