来源：Dave Gershgorn
译者：彭婷
概要：网络会接收图像并通过不同的层对它进行处理，每一层都是密集的数以百万计的计算模型，用于模拟大脑中的神经元。
原文链接：https://qz.com/1022156/mit-researchers-can-now-track-artificial-intelligences-decisions-back-to-single-neurons/?utm_content=buffer6335e&utm_medium=social&utm_source=twitter.com&utm_campaign=buffer
当AI研究人员几乎能够在机器上复制我们所认为的人脑最基本的功能之一的同时，也取得了突破性进展：思维是由相关神经元簇的组合活动产生的。他们现在正思考最先提出这一想法的神经科学家的疑问：从外面来看，数百万的微小的神经元是如何产生思维的。
但在了解我们自己之前，计算机科学家也许早已了解了他们的机器。麻省理工学院的新研究提供了人造神经网络如何处理信息的线索，并提出了一个为什么他们会做出另一个决定的较为可能的解释。这将帮助我们更容易地明白，例如，为什么自驾车在感知到某个物体之后会转弯，或者精确地分析图像分类算法被训练得产生了多大偏差。
或者说是偏颇，因为这会好听一点。
首先，对训练有素的深层神经网络运做一个快速解释：目标是你给它一张照片，它就可以告诉你照片里的是什么东西。
网络会接收图像并通过不同的层对它进行处理，每一层都是密集的数以百万计的计算模型，用于模拟大脑中的神经元。而且每一层都在不同的抽象层面上查看图片，并且会将其中的图案与网络之前所看到的图案进行比较。第一层可能会寻找形状或是下一个纹理等等，但每层也会舍弃它认为不必要的数据，以识别图像的内容。
该过程最终会将图像变成一个“高级表达”，或说是它会选出对机器而言能够有效描述图像重要内容的数据。最后的“高级表达”就是神经网络对图片的解释，比如，一只狗或一匹马。
关于这些深层神经网络如何在计算神经元的层面上实现这一点的，深度学习领域的科学家目前产生了两个不同的理论：“解开表征”理论和“分布表征”理论。
“解开表征”理论认为，个体神经元负责检测与狗或马高度相关图案。麻省理工学院研究员DavidBau表示，“分布表征”理论认为通过数学关系连接在一起的一组神经元是一同运作来分辨这些图案的。
如果深层神经网络是“解开表征”式的，我们将会分离出负责识别相片中某个人性别的特定神经元。但是，如果它是“分布表征”式的，这意味着我们需要导出神经元之间的一组复杂的关系。幸运的是，于6月下旬发布的Bau团队的研究证明了前者。Bau告诉Quartz：“现在我们有一个定量工具，你可以用它来理解任何的视觉表示。”
麻省理工学院的研究小组希望准确地了解，从简单的图案到特定的物体，不同的神经网络是如何在不同的数据上进行训练，并建立自己理解概念的机制的。为此，研究人员编制了一个专门的图像数据集。这些图像包括了一些物体，风景以及简单的纹理，而且所有这些图像都精确地标记到了像素级别。
由于麻省理工学院的团队已经精确地知道神经网络在图像的每个部分所感知的东西了，所以他们现在可以分析在特定时间哪些神经元是高度活跃的，并能够将图片中特定概念的识别追溯到神经元。在测试中，该团队发现，单个神经元可能与一个高级概念高度相关，那就是神经网络构建“解开表征”的强烈信号。
为什么这个那么重要呢？ Bau认为它可以用于客观地测量神经网络中通过其训练数据传递的偏差。他提供了一个在ImageNet数据集（一个测试图像识别网络的行业标准）上训练的例子。在数学上，特定神经元对狗的反应大于神经元对猫的反应，这是ImageNet数据对狗有偏见的证据。
我们之前已经在Google著名的DeepDream实验中看到过。在实验中，要求神经网络放大它们在随机图像中感知到的图案，而在ImageNet上训练神经网络时，到处都放了狗的图像，因为他们识别狗的能力比识别其他物体的能力都强。
第一个解决这个问题的不是麻省理工学院。有研究人员召集会议来讨论如何更好地解释AI，并且每年出版了数十篇论文，甚至开展了DARPA计划以进一步解释深度学习---这一切都说明了这项工作的重要性。
测量神经网络偏颇的能力在医疗保健领域至关重要，其中算法训练数据固有的偏颇可以用于治疗，或者用于解答为什么自驾车在道路上可以因安全而做出某些决定。
来源： 网易新闻
欢迎加入未来科技学院企业家群，共同提升企业科技竞争力
一日千里的科技进展，层出不穷的新概念，使企业家，投资人和社会大众面临巨大的科技发展压力，前沿科技现状和未来发展方向是什么？现代企业家如何应对新科学技术带来的产业升级挑战？
欢迎加入未来科技学院企业家群，未来科技学院将通过举办企业家与科技专家研讨会，未来科技学习班，企业家与科技专家、投资人的聚会交流，企业科技问题专题研究会等多种形式，帮助现代企业通过前沿科技解决产业升级问题、开展新业务拓展，提高科技竞争力。
未来科技学院由人工智能学家在中国科学院虚拟经济与数据科学研究中心的支持下建立，成立以来，已经邀请国际和国内著名科学家、科技企业家300多人参与学院建设，并建立覆盖2万余人的专业社群；与近60家投资机构合作，建立了近200名投资人的投资社群。开展前沿科技讲座和研讨会20多期。 欢迎行业、产业和科技领域的企业家加入未来科技学院
报名加入请扫描下列二维码，点击本文左下角“阅读原文”报名
