作者：Matt Reynolds
译者：独孤芳
概要：嘿，AI - 你觉得你正在看的是什么？机器学习算法时会被骗，以为看到了不存在的东西。
这是马?
嘿，AI - 你觉得你正在看的是什么？机器学习算法时会被骗，以为看到了不存在的东西。随着像无人驾驶这样新兴事物的出现，了解这一现象的原因，变得愈发重要。有个测试可以揭示AI正在看图片的哪一部分，现在得益于这个测试，我们能一览机器的思绪。
人工智能无法和人类一样做出决策。例如，即使是最好的图像识别算法也可能被欺骗，以致它在仅仅有白噪声的图像中看到知更鸟或猎豹。
“这是一个大问题”，罗德岛普罗维登斯州布朗大学的克里斯·格林（Chris Grimm）说：“如果我们不明白为什么这些系统会犯低级错误，对于像无人驾驶这类我们生活中的事物，我们应该三思而后信。”
Advertisement
因此，Grimm和他的同事创建了一个系统来分析正在识别图像内容的人工智能，以便呈现出人工智能正盯着图片的哪一部分。就好像对于文档排序算法来说，系统会突出显示这个算法曾经用了哪些词来对特定文档进行归类。
探察内部
谷歌研究员Dumitru Erhan表示，能查看AI内部并了解其学习方式，很有用。Grimm的工具为人们提供了一个便捷方法，来复核算法是否因正确的依据提出了正确的解决方案。
为了创建反映AI关注区域的工具，Grimm把他想测试的AI用第二个AI包裹起来。这个“包装版AI”更换了白噪声图像的一部分，看看它是否能影响软件的最初决策。
如果更换了图像的一部分，AI就改变了决定，那么图像的那个区域可能是决策的重要区域。这也同样适用于单词。如果在文档中改变单词使得AI对文档分类不同，则表明该单词是AI做出这个决定的关键。
一个AI经过训练，可以把图片归类入飞机、鸟类、鹿和马等10个类别。 Grimm对这个AI 进行了测试。他的系统绘制出了人工智能在进行分类时所看的位置。结果表明，人工智能已经自学掌握了将物体分解成不同的元素，然后在图像中搜索每一个元素来证实它的决定。
马头
例如，当查看马的图像时，Grimm的分析表明，人工智能首先密切关注腿部，然后搜索图像，查找出当马可能面向不同的方向时，马头可能的所在位置。AI对有鹿的图像采取了类似的方法，但在这些案例中，它特意搜索的是鹿角。AI几乎完全忽略了它认为并没包含有助于分类的其他信息的图像部位。
Grimm和他的同事们也对一个经训练能玩电子游戏Pong的AI进行了分析。他们发现它忽略了几乎所有的屏幕，只密切关注球拍移动轨迹旁的两个窄柱。AI对一些区域不太留意，因而球拍偏离其预期位置会让它误认为它是在看球而不是球拍。
Grimm认为他的工具可以帮助人们了解AI是如何做出决定的。例如，它可以用于查看在肺扫描中检测癌细胞的算法，确保它们不会查看图像的错误位置而无意中得出正确的答案。他说：“你可以看看是不是在关注正确的事情。”
但是，首先，格林想要用他的工具帮助人工智能学习。这个软件能辨别出AI什么时候没有留意，一边AI培训师将他们的软件引导到相关的信息点。
本文系网易新闻&网易号“各有态度”特色内容
作者：Matt Reynolds 译者：独孤芳
欢迎加入未来科技学院企业家群，共同提升企业科技竞争力
一日千里的科技进展，层出不穷的新概念，使企业家，投资人和社会大众面临巨大的科技发展压力，前沿科技现状和未来发展方向是什么？现代企业家如何应对新科学技术带来的产业升级挑战？
欢迎加入未来科技学院企业家群，未来科技学院将通过举办企业家与科技专家研讨会，未来科技学习班，企业家与科技专家、投资人的聚会交流，企业科技问题专题研究会等多种形式，帮助现代企业通过前沿科技解决产业升级问题、开展新业务拓展，提高科技竞争力。
未来科技学院由人工智能学家在中国科学院虚拟经济与数据科学研究中心的支持下建立，成立以来，已经邀请国际和国内著名科学家、科技企业家300多人参与学院建设，并建立覆盖2万余人的专业社群；与近60家投资机构合作，建立了近200名投资人的投资社群。开展前沿科技讲座和研讨会20多期。 欢迎行业、产业和科技领域的企业家加入未来科技学院
报名加入请扫描下列二维码，点击本文左下角“阅读原文”报名
