【嘉宾 冯辉】机器视觉及其在无人机的应用【华泰2017中期策略会】

大家好！我是复旦电子工程系的冯辉，今天绝大部分来宾都是来自于证券投资行业的，我是为数不多来自学术界的。今天和大家分享的可能偏技术一点： 我今天讲的主题，就是机器视觉，是邀请方给我的一个题目，但是机器视觉应用领域太广，我还是集中在这几年的一些工作，就是人机方面。

复旦大学可能很多人都知道，但是不知道我们还有偏工程的专业方向，大家对复旦的印象都是文理综合性大学，我们还是有信息学科的，而且在国内高校当中非常强的，只是很多人不了解。我是来自于电子工程系，也是比较老的一个系，主要的研究方向是信息处理等方面。

今天我主要讲的内容分几块：首先是 无人机 一些基础内容，包括我们怎么做机器视觉，包括机器视觉可以应用在哪些领域，还有是我们在未来会拓展到什么地方，这些都是非常有趣的内容。

我们讲无人机正式学术名称叫无人飞行器，它又分为很多种，美国人已经拿它用来打仗了。所以可以把它按照大小来分，也可以从军用和民用来分，也可以从固定翼和多旋翼来分。

民用无人机的应用非常广，以前大家认为它就是一个玩具，是一个消费机，但现在像航拍、摄影、地质勘测，包括像安防、交通监控、执法，包括像农业的植保，包括物流，现在京东也在做，但还没有到成熟的应用，还有是应急救灾，比如现在经常有新闻说某某驴友爬野黄山人丢了，现在的办法是派几百个人到山里搜山，但如果派无人机搜山的话可能比人去搜、去喊效率高很多，我们有很多这方面的应用。包括电力线巡警，偏远山区的电力线巡警都是靠人量出来的，这也可以靠无人机来解决。另外是边境线巡警，现在都是靠我们的战士一步一步去量的，特别是在比较艰苦的环境，像戈壁、沙漠，非常不容易。如果我们用一些固定小型无人机做日常巡警的话，可以节省大量的人力，而且还安全，不容易有人员被攻击的情况，我想这在新疆等等边界可能有很好的应用。

多旋翼无人机的基本结构，非常简单，就是多个机臂，然后装上多旋翼就可以飞了。为什么随着大疆的发展，这几年这么受关注？以前我们玩航模，对航模选手有很高要求，要练好几年才能控制这架飞机。但是由于电子行业的进步，我们把陀螺仪等一些传感器做的越来越小、越来越便宜之后，现在非常小的一个芯片就可以解决很多姿态测量的需求，所以可以做到很小，放到一个很小的无人机上，本身飞机自稳、朝向、加速感知等等，都可以借用芯片内部的算法，其实里面还是软件，所以本来飞机是高难度的事情，降低为现在小学生基本都可以玩，虽然还是有危险性，但已经降低了大量的难度。除此之外还有大量传感器在上面，这些传感器也是非常重要的。

以大疆的无人机为例，工业无人机相对比较大一些，成本也比较高，上面就会有一些机载电脑，我们现在实验室就好几套平台，机翼全部展开将近2米，在上面可以承载载荷也可以很高，比如可以承载拍电影的专业摄像机，而不是平时小的摄像机。其实大疆最成功的领域就是在航拍摄影，目前很多电视节目，包括电影拍摄，航拍以前都是靠直升机，或者靠很高的云梯吊臂，现在靠大疆无人机。我们自己也做了好几年了，也搭了好几代产品，各种尺寸的，包括四旋翼的、六旋翼的都搭过。自己搭的时候，有些开发受限，比如用大疆的无人机限制很多，很多已经封装好了，还需要改造，而且有些不好改造。

（PPT图示）这是大疆的飞机和我们飞机的对比。

对于无人机有了印象之后，大部分人觉得无人机用摇控器控制，这是绝大部分人对它的印象。但其实对于很多有价值的行业应用来讲，自主飞行才是一个最最有价值的功能体现。自主飞行又可以分为很多种，从最简单的，低级的，没有自主性，完全靠人手控制，第二种人可以给它指派一些任务，比如按照一个固定的GPS路线去飞，还有一种，基本上人都不需要怎么去设定，你告诉它做什么事情它自己去做，紧急的时候人再干预，最高的自动化，那就是全自动化，它完全是可以自主决策，可以自主完成任务的一个设备，有点像科幻电影里面的AR机器人。可以注意到，这样一个自动化，从简单到复杂的过程，其实跟现在无人驾驶车是很接近的，无人驾驶车也分为几级，每一级对自动驾驶的需求和定义都是不一样的，目标当然是将来完全自动，无人驾驶，那个车怎么开都不会撞人，不会出事故，可以把你送到目的地，这是理想状态，但大部分还停留在研究阶段。

要让一个无人机能够完成一个自动化的任务，去做一些自动化的操作，很重要的一点就是要利用它的各种传感器信息，这里面最有信息含量的信息就是图像信息，图像是能看到的东西，因为人获取信息70%以上都是通过眼睛获取的。我们现在怎么利用摄象头拍到的东西让无人机自主飞机，脱离摇控器飞行？这是一个很重要的研究课题，包括能够识别出内容、对象，决定自己应该飞行的路线，然后完成搜索、搜寻、记录等一系列的功能。

（PPT图示）整个框图很简单，主要是机载处理平台和地面的交互。有很多应用实例，我举几个。 第一个案例，在城市管理当中查违章停车，现在基本上靠巡警去巡街。14年的时候我带几个本科生做了案例，就是用无人机去巡车，去看有哪些违章停车，并且把车牌号抄回来。这个案例还做的蛮成功的。做了这个应用之后，因特尔找我们，我们合作在这个平台上把这个应用做出来。

（视频播放……）这个飞机装上了传感器，可以检测四周的东西，在设定好的路径上扫车辆，如果看到车以后就把它识别出来，把车牌抓出来。整个过程是不需要人遥控的，没有遥控过程，完全它自己做。

我想说一个最关键的技术点，第一，你的车辆要识别准确。第二，不仅仅能识别车辆，因为即使是看到车你也不一定能够看到车牌，因为角度不好，你飞过去的时候可能正好看不到车牌。还有一个很难的点，就是怎么样让无人机自动识别车的朝向是在什么地方，让无人机自己转到合适的角度把车牌拍下来，这是最难的，比识别车本身难的多。这里面我们就看到了机器识别的应用和无人机的整体控制是怎么样串在一起的，就是机器视觉看到了一个东西，要自己决定无人机怎么飞，使得它能够拍到车牌，并把它抓拍住。所以这里面有一系列的难点。

第二个应用事例是建筑物外观巡检。举大桥的例子，像杭州湾大桥，国内有很多很多大桥，每年检修要靠人送上去，要检修关键部位有没有磨损、锈蚀等等，人力成本非常高，难以想象，可能要把一个车道封掉，可能好几个小时，把人送上去看一个点，然后挪一个地方，再把人送上去。有没有可能用无人机来辅助建筑物的检修？这里面用摇控器来做是非常不容易做的，因为像飞的高度，特别是像特别高的建筑或者非常高的桥梁塔，飞上去人肉眼在下面已经看不清楚了，摇控器飞上去只能用第一视角，这就太难了，就像打3D游戏一样，很难精确控制。我们有一个办法，利用机器视觉来做这个事情，让无人机自动去搜寻要看的地方，然后对准拍摄。为什么不能用GPS定位呢？因为误差太大，第一次飞过去和第二次飞过去中间可能差10米，要拍的东西、看的东西完全不一样了，所以必须借助视觉的方法来做。这里面有一系列的基于图像搜寻。

（PPT图示）举个例子，假设建筑物上有一个标记，这个标记特征，可以是任何特征，只要你预先设定好。比如在墙上贴一个瓷砖作为事例，飞机预设好找这样的东西，找对之后靠近，越近越好，把它拍下来。左边是第一视角，右边那个图是第三视角的，飞机飞过去之后扫描，发现后马上悬停下来对准它，靠近把它的细节拍清楚，这对建筑检测和检修都有非常重要的意义。这里面主要的技术跟刚才的技术一样，也是把机器视觉和无人机规范控制串联起来。

刚才讲的是室外的，同样的事情我们还做室内，室内更难一些，因为室内没有GPS信息，可能整个飞机处在不知道在哪儿的情况。比如要钻到大桥桥底去看有什么问题，就要把飞机飞到大桥桥底往上看，然后找东西在哪儿，再对准。这就是锁定的过程，比如桥底下有一个东西，然后锁定进行拍摄。

刚才讲了建筑物的搜寻里面有一个很重要的附带任务，就是我需要在一个三维空间当中给出探查的点，这个点要设定好，这就需要三维模型，但是你可能拿不到这个三维模型，比如造桥的，很多桥没有三维模型，所以很重要的是怎么做一个三维建模。也一样，可以用无人机先去航拍，拍下来之后利用无人机的方法把三维模型建起来，建起来以后就可以设定这个点。

（视频播放……）整个三维模型可以建起来，就可以在旋转的三维空间中去预设无人机所要停留的点在什么地方。

接下来讲最难的，公安部门找我们做一个应用，希望用无人机去抓一些特定的人，当然是抓嫌疑犯。比如现在一个小区有一些敏感的检测设备，看到记录在案的嫌疑犯，或者交通肇事逃逸者，公安干警可能不能第一时间抓，无人机就可以冲过去抓，但是抓人这件事情太难了，普通的方法解决不了，我们就用深度学习。还有一个问题，公安提出不光要抓到这个人，还要把正脸拍出来，所以无人机还能飞到人的正面去把脸拍下来，我们自己搭了一些生物神经网络来做。最关键的一点，我们后来意识到，如果把图像视频全部传到地面去算，算完以后再导回来，时间相差太大，不够敏捷。后来我们挪到机载上实时计算，我们做了嵌入式深度学习的软件，直接在飞机上算，不需要借助于人来做了。我们来看一下最后的视频。