7月9日，由CCF主办，雷锋网与香港中文大学（深圳）承办的CCF-GAIR 2017全球人工智能与机器人峰会进入了第三天。
在CV+专场首场，微软亚洲研究院资深研究员梅涛博士为大会带来了题为《Video Content 3C: Creation, Curation, Consumption》的分享，即视频的创造、处理和消费。
雷锋网对梅涛博士的演讲内容梳理如下：
为什么要讲视频的内容，梅涛博士提到如下几点。
-
一，视频跟图像相比信息更丰富，处理起来也更富挑战性；
-
二，大家近来看到比较多的是视觉领域比如人脸、安防方面的进展，而视频（尤其是短视频）相对来说是比较崭新的领域；
-
三，他本人从事视频分析的研究和产品已经十多年了，在这十几年里，几乎人人都说视频是下一个风口，今天看来这个说法似乎也是成立的。
在传统的视觉理解的方法里，要做视觉问题基本上分三个步骤：
“现在的深度学习，尤其是在2012开始，图像理解的错误率在不断降低，深度神经网络也从最早的8层到20多层，到现在能达到152层。我们最新的工作也表明，视频理解的深度神经网络也可以从2015年3D CNN的11层做到现在的199层。”
梅涛博士也在演讲中表示，
视频内容的生命周期大致可以分为三个部分，即视频的创作、处理和消费：
creation
要讨论视频的创作，这里面涉及到一个基本概念，那就是视频的产生原理。“Video的产生是先把Video切成一个一个的镜头，可以看成是一个一个断码，然后每一个镜头再组合编成一个故事或场景，每一个镜头还可以再细成子镜头，每个子镜头可以用一个关键帧来代表。通过这种分层式结构可以把一段非线性的视频流像切分文章一样进行结构化，这种结构化是后面做视频处理和分析的基础。通过这种结构化将视频分解成不同的单元，就可以做视频的自动摘要，即将一段长视频自动剪辑为精彩的短视频，或将一段长视频用一些具有高度视觉代表性的关键帧表示。这些摘要使得用户对长视频的非线性快速浏览成为可能。”
梅涛博士表示，微软目前将视频摘要的技术用在了Bing的视频搜索里，现在全世界有八百万的Bing用户通过一种叫multi-thumb的技术，可以快速预览每一个视频搜索结果。
此外，微软研究院研发的PIX是一个全新的相机app，它可以在你按下拍摄按键的同时就对拍摄的视频进行实时处理，可以将一段抖动的视频变得平稳，还可以自动判断视频中静止和动态的像素，生成 loopy video animation。
curation
当用户有了视频之后，研究者要做的事情是给视频片段打上标签，这样后面的搜索就可以基于标签搜到视频的内容里面去。“我们最近的工作可以对视频内容打上1000多个静态标签和超过500个以上的动作标签。我们设计的P3D（pseudo 3D resent）是专门为视频内容理解而精心设计的3D残差网络。”
做图像分析目前最好的深度神经网络是微软亚洲研究院在2015年提出的152层的残差网络（ResNet），目前最深可以做到1000层。但是在视频领域，专门为视频设计的最有效的3D CNN目前才11层。为了解决这一问题，梅涛博士表示，团队最近借用ResNet的思想，将3D CNN的层数做到了199，识别率能在UCF 101数据集上比之前的3D CNN提高6到7个百分点。这一对视频进行自动标签的技术，将会被使用在微软的Azure云服务中。
实现了视频自动标签技术外，梅涛博士还阐述了团队“更进一步”的研究工作：用一段连贯通顺的自然语言，而不是孤立的单个标签，来描述一段视频内容。
“比如给定这段视频，我们能不能生成一句话来描述这个Video？以前我们说这个Video是一个舞蹈，现在可以告诉你这是一群人在跳一段什么舞蹈，这个技术就叫Video Captioning。这个技术使得自动生成视频的标题成为可能。”
微软亚洲研究院目前把这个技术用在了聊天机器人的自动评价功能里，例如微软小冰，当用户上传视频给小冰，它会夸赞对方。在这个技术上线一个月后，小冰在某视频网站上的粉丝数涨了60%。当然，小冰现在还可以根据图片内容写现代诗，将来我们希望小冰能够根据视频来写诗。
“我们也可以将Video进行编辑，加上滤镜，或是做风格的转换，把自然的Video变得非常卡通。Video中的人物分割出来可以放到另外一个虚拟的场景里面去。你可以想象，当两个人在异地谈恋爱的时候，我们能够给他一个房间，让他们在同一个房间里、在星空下、在安静湖面上的一艘小船上进行聊天。
