专栏名称: 我爱计算机视觉

关注计算机视觉与机器学习技术的最前沿，“有价值有深度”，分享开源技术与最新论文解读，传播CVML技术的业内最佳实践。www.52cv.net 微博:计算机视觉与机器学习，QQ群:928997753，52CV君个人账号：Your-Word。

CVPR2021 视频超分辨率中的时空蒸馏方案

我爱计算机视觉 · 公众号 · · 2021-10-17 21:40

正文

关注公众号，发现CV技术之美

论文链接：https://openaccess.thecvf.com/content/CVPR2021/papers/Xiao_Space-Time_Distillation_for_Video_Super-Resolution_CVPR_2021_paper.pdf

作者单位：中科大

编者言 ：将知识蒸馏结合时空特征应用到VSR任务上，加强了学生网络的时空建模能力，验证了知识蒸馏方案在VSR任务上的可行性。

紧凑的VSR网络可以很容易地部署在智能手机等设备上，但与复杂VSR网络存在较大的性能差距。为此，本文提出了一种时空蒸馏(STD)方案来利用VSR任务中的时空知识，将知识从复杂的VSR网络转移到紧凑的VSR网络中去提高紧凑VSR网络的性能。

空间蒸馏从网络中提取代表高频信息的空间注意图，进一步用于转移空间建模能力。时间蒸馏通过提取时间记忆单元的特征相似度来缩小紧凑模型和复杂模型之间的性能差距。可以在不增加额外运行时间与不改变架构的情况下获得更好的重建效果。

方法

图（a）表示VSR原理图，（b）和（c）为将知识从复杂的教师网络T转移到紧凑的学生网络S的STD方案。将多帧对齐和时空融合能力从T到S转移，可以使学生在视频重建方面更好地模仿老师。

训练时总损失为TD损失SD损失的加权和加上Charbonnier重建损失，推理时仅使用架构不变的学生网络。

高频细节在重建时是至关重要的。本文的方案受基于激活的注意蒸馏的启发，设计了一个通过从T中提取空间注意图来建模空间表示能力的SD方案，并利用它来训练S。空间注意图的生成等同于寻找一个映射函数，定义为下述三种之一：

这三种映射的可视化如下图：

相比，为高频细节区域分配更多权重。相比，

推荐文章

西藏发布 · 从昆明可以坐大巴到拉萨和昌都啦！票价是……

昨天

西藏发布 · 从昆明可以坐大巴到拉萨和昌都啦！票价是……

昨天

山西广播电视台 · 不满物业？电话来了→

2 天前

山西广播电视台 · 不满物业？电话来了→

2 天前

西藏发布 · 西藏公积金最新消息！

3 天前

西藏发布 · 注意！扎墨公路禁止一切车辆及行人通行

3 天前

网信西藏 · 西藏自治区人民政府办公厅最新公告

3 天前

虎嗅APP · SaaS创业，每朵乌云都镶着银边？

8 年前

大浪淘沙 · 人间正道是沧桑：美国大选后世界将何去何从（下）

8 年前

教你看穿男人的心 · 一个老中医和女护士的微信对话曝光！

8 年前

砺剑 · 中国的南海（十六）

8 年前

不正常人类研究中心 · 愿我们的友情坚若磐石

8 年前