“民主”的神经网络：向不完美妥协

在我们小小的颅腔里住着860亿个神经元，它们有的易燃易怒，脾气暴躁；有的郁郁寡欢，消极厌世；它们每天都在对我们经历的事物各抒己见，争吵不休。如果你不能想象大脑里每天沸沸扬扬的辩论实况，那就想一想微博或推特—— 一个不过月活3、4亿用户的社交网络 —— 每天是如何制造热点、生产和传播假新闻、或者粉圈互撕到服务器宕机的。 我们的大脑规模约等于二十多个这样的社交网络，平均每个用户有1000位粉丝 。而且这些用户活跃时战斗力非凡， 平均每个神经元3至4秒就发一次推 ，大脑短短一小时产生的信息足以淹没任何超话热搜。

即使是一个平日里看起来非常好脾气的人，他的大脑中也充满了不间断的争执。 举例来说，即使像是 “看到一块芝士蛋糕”这样一个简单、统一的事件单位，也是大脑中成千上百的神经元激烈辩论结果。 每个参与其中的神经元——从视网膜，到视觉皮层，再到下颞叶——通过产生动作电位、释放神经递质来发表见解。神经元们似乎总是很难达成一致，比如视网膜中的双极神经元（bipolar cells）往往乐于表达赞同，让其他神经元更加兴奋，而无长突细胞（amacrine cells）总是悲观否定，抑制其他神经元的活动。但无论如何，这些常常意见相左的神经活动终究会汇总成一个明确的、无可辩驳的概念，并让我们不禁咽了咽口水。

不仅仅是简单的“刺激-反应”过程， 神经科学家们相信，我们所有的情感、记忆、思考和创造，都是这群吵吵闹闹的“乌合之众”的共同决定 。它们是如何做到的？

把大脑看作一个网络，并非一个新鲜的概念。 早在社交网络的概念尚未发明的20世纪40年代， 科研人员就试图用网络模型解释大脑的运作机制 。在这类模型中，大脑被看作 一幅只有节点 和连边的计算图 ，网络中的每一个节点象征一个神经元，每一条连边象征着两个神经元之间的突触连接，信息在网络中有向地从一个节点流向另一个节点，分布式地在每个节点被计算和处理。比如在小鼠的大脑中，每个神经元从树突接受来自其他神经元的电信号，在胞体上进行计算，再从轴突通过动作电位把计算结果发送给其他神经元。

为了把这类计算模型和大脑的认知功能联系起来，神经科学家们提出了两个普遍接受的原则：

• 我们所有丰富的内部体验和外部活动，不过是神经元持续的动作电位模式。

• 我们从过去经验中学习的能力，大多归功于神经元之间突触连接的可塑性。

这两个原则，在大脑的结构和功能之间搭起一座桥梁。只要知道神经元之间的突触连接，我们就可以从某种程度上解释大脑是如何一步一步地处理信息的。 不同的局部连接结构赋予了大脑不同的功能；这些结构中持续的电信号，构成了我们的行为和体验 ，比如速记一串电话号码；这些突触连接的动态变化，给予了认知系统迭代进步的能力，比如学习新技能。

谢灵顿反射弧 （Sherrington‘s reflex arc）可能是最早把突触连接和功能联系起来的模型， 可以被视作最早的“神经网络” 。动物反射行为通常由从感觉神经元到运动神经元的一系列突触链执行，这种特殊的链状神经结构被叫做反射弧。一个完整的反射弧通常包括 五部分 ： 感受器 负责从环境接受信息， 传入神经 将信息传导至 神经中枢 ，再由 传出神经 将反应返回到 效应器 。如果用计算图表示，反射弧就是一个包含五个节点的路径，每个节点被激活的顺序反映了刺激到反应的一系列因果关系。

“现代神经科学之父”卡哈尔（Santiago Ramón y Cajal）的学生德诺（Rafael Lorente de Nó）提出了 循环的突触连接可能是中枢神经系统的基本结构 。和反射弧的开放结构不同， 突触环 （synaptic loops）是一条闭合的链，从而使神经活动的模式得以保持。谢灵顿的学生格雷厄姆·布朗（Graham Brown）在研究脊髓的节律性时也提出， 一些神经活动有可能在大脑的内部生成，而不依赖于即时的刺激-反应关系 。反射弧在被外界刺激之前是不活跃的，但是因为环状突触结构和内部生成的神经活动，大脑的活动可以不依赖于外界刺激。进一步，唐纳德·赫布（Donald Hebb）在1949年提出的“ 细胞集结理论 ”（cell assembly theory）认为 不同的神经元集群构成了神经系统的基本功能单元，并讨论了突触可塑性的形式 。神经元之间反复的突触通讯，可以强化它们之间的连接，从而形成德诺说的能够保持神经活动的突触环。

赫布、德诺、布朗、谢灵顿等人的想法，最终通过 数学抽象 为神经网络。最著名的两类基本模型，就是 感知机 （perceptrons）和 联想记忆网络 （associative memory networks）。 感知机模型常常被用来解释视觉系统是如何识别物体 ， 而联想记忆网络则试图解释大脑是如何存储和提取信息的。

- Matt Chinworth -

1957年由弗兰克·罗森布拉特（Frank Rosenblatt）提出的感知机模型，是 对谢灵顿反射弧概念的数学抽象与推广 。和反射弧一样，信息在网络中的流动也是 单向的 ，即从输入到输出。但与反射弧不同的是，感知机 允许许多输入汇聚到单个神经元，也允许单个神经元有多个输出 。感知机也可以看作是 单层的前馈神经网络 （feedforwad networks）。在前馈神经网络中，突触连接不允许形成环链。

联想记忆网络往往带有 回路 和 环链 ，今天被归类为 循环神经网络 （recurrent networks）或者 回馈神经网络 （feedback networks）。而感知机模型则非常适用于研究大脑对外界刺激的即时响应。在人工智能技术大行其道的今天，用于图像识别的人工神经网络，多数类似与原始的感知机模型；而用于阅读理解的网络，则往往包含了许多循环结构来维持工作记忆。

两条原则 —— 经验就是动作电位的模式，学习就是突触连接的改变 —— 使得通过模拟神经网络来实现认知功能的联结主义人工智能变得充满希望 。计算机科学家与神经科学家们相信，无论多复杂的功能，都可以从庞大的神经网络中涌现，只要找到了对的突触连接方式。 深度学习技术成功的关键，就是运用第二条原则来找到执行特定功能的神经网络 。虽然今天计算机科学家们使用的更新突触连接的算法，和神经科学家普遍发现的赫布法则非常不同。

关于第二条原则的讨论我们可能需要另一篇文章来展开。而今天这篇文章会试图向你证明， 单单第一条原则可能已经足够有趣 。 作为经验载体的动作电位是如何在神经网络中计算与传播的 ？网络中的一个神经元常常从与之相连的一众神经元接听信息，这些吵闹的神经元常常有着非常不同的神经活动和突触电位， 神经元是如何整合这些不同意见的 ？

神经元的动作电位和突触电位是时刻变化的，它们涉及到膜电压和离子通道开闭之间的复杂相互作用。为了建模每个神经元的行为，理论神经科学家 有时会忽略其中的这些复杂性。 一种非常流行的简化是， 当同时激活的兴奋性突触数量足够时，神经元就会激发动作电位 。这一简化是合理的，因为单个兴奋性突触后电位（excitatory postsynaptic potential）通常比激发动作电位所需的电压差小很多。因此，突触后神经元的胞体需要对同时激活的那些兴奋性突触后电位求和，使得其总电压有可能超过激发阈值。

1943年，沃伦·麦卡洛克（Warren McCulloch）和沃尔特·皮茨（Walter Pitts）为这种对动作电位求和的神经元建立了 数学模型 。 McCulloch-Pitts神经元 同时接受多个输入并产生单个输出（但可能发送给多个神经元）。神经元输入和输出都用二元变量0或1表示，0为沉默，1为活跃。每个神经元都有一个阈值参数θ，表示激发神经元所需的最小兴奋性突触数量。如果在某一时刻的输入总和大于或等于θ，则神经元的输出为1；否则输出为0。我们可以连接多个这样的McCulloch-Pitts神经元，使得一个神经元的输出就是另一个神经元的输入。这一简单的数学过程也有对应的生物解释： 突触前神经元的放电可以激活另一个神经元上的突触后电位 。 把许许多多这样的McCulloch-Pitts神经元连接在一起，我们就构建了一个神经网络 。

比上述的0和1稍稍复杂一些， 最初的McCulloch-Pitts神经元同时考虑了兴奋性和抑制性突触的存在 。类似一套民主投票规则，兴奋性突触的1记一张赞成票，抑制性突触的1记一张反对票，0为弃权票。 所 有突触前的神经元都可以表达它们意见，突触后神经元汇总这些意见再进行决策。

如果突触后的神经元是兴奋性的，那么它属于神经网络中那一类持有乐观立场投票者，只会投赞成或者弃权票；相反如果突触后的神经元是抑制性的，那么它属于悲观的且特立独行的投票者，只会投反对票或者弃权票。这一限制遵循了神经科学中称为 戴尔法则 （Dale‘s principle）的规律， 一个神经元只会向其他的神经元分泌相同的神经递质，从而形成要么兴奋性要么抑制性的突触 。虽然今天神经学家已经发现了许多戴尔法则的反例，但是在 大部分情况下 ，这一规律还是有普遍性的。

在McCulloch-Pitts模型中，对于兴奋性的神经元，如果它收到的来自其他神经元的“赞成票”（激活的兴奋性突触）数量达到某个阈值，比如超过半数，并且没有神经元向它投“反对票”，它就会向与之相连的其他神经元投“赞成票”（1），否则弃权（0）；对于抑制性的神经元，如果它收到的来自其他神经元的“赞成票”（激活的兴奋性突触）数量达到某个阈值，并且没有神经元向它投“反对票”，它就会向与之相连的其他神经元“反对票”（1），否则弃权（0）。如果一个神经元收到了“反对票”（有抑制性突触被激活），那么无论神经元本身是兴奋性还是抑制性，都会投弃权票（0）。

McCulloch-Pitts 模型可以看作一种“鼓掌通过”式的民主 ，只要投赞成票的兴奋性神经元超过一定数量，就可以激发突触后神经元作出决定。同时， 抑制性的神经元还具有“一票否决”权 ，只要它对刺激不满意，它就可以使下游的神经元不响应。在这种体制中， 每个神经元唯一需要关心的变量就是投票通过的阈值 。低阈值的神经元像是人群中极易被煽动的坏脾气，只要有少量神经元冲它发火，它也会跟着发火；而高阈值的神经元则木讷许多，需要大量神经元同时对它苦口婆心地劝说，它才会审慎地透出自己宝贵的一票。

这种民主制度虽然简单粗暴， 但已经可以解决许多复杂问题 。我们在后面会介绍到，低阈值的兴奋性McCulloch-Pitts神经元 相当于 逻辑电路中的“ 与门 ” ，高阈值的兴奋性McCulloch-Pitts神经元 相当于逻辑电路中的“或门” ，而抑制性神经元的作用 和“非门”类似 。一个由McCulloch-Pitts神经元构成的网络， 在某种程度上等价于一个逻辑电路 。 我们的视觉系统也可以从类似的角度被解释 。

McCulloch-Pitts是最简单的神经元模型，但它也缺失了许多重要的生物细节。 其中最值得注意的一点是，在McCulloch-Pitts模型中， 所有的兴奋性输入是被同等对待的 。如果激活，则记为一票，每一票都同等重要。神经元的“身份”在这一民主机制中被完全革除了。 而真正的生物神经元并非能做到如此绝对公平公正 。神经元之间往往会形成不同强度的突触。这意味着 突触后神经元会有意地更重视某些神经元的意见，而轻视另外一些。

将突触强度的差异性纳入考虑的神经元模型 ，叫做 线性阈值神经元 （Linear Threshold neurons） 。 和McCulloch-Pitts模型一样， 它也遵循了民主最基本的一人一票原则 ，记活跃为 1，沉默为 0， 只是有的突触在最终计票时会被赋予更高的权重 。这一更像是《动物庄园》式的民主，“所有神经元生来平等，但有的神经元比其他神经元更平等”。 只有当来自所有突触的投票的加权和大于或等于预设的某个阈值θ ，突触后的神经元则被激活。

此外，在线性阈值神经元模型中， 抑制性神经元不再有一票否决权 。相反它采取了一种更加公平的做法，兴奋性的突触拥有正权重，抑制性突触拥有负权重， 只有当来自兴奋性突触的声音盖过了那些抑制性突触，并达到阈值，突触后神经元才会被激活 。McCulloch-Pitts模型可看作一种兴奋性突触权重均为1的线性阈值神经元。而要让抑制性神经元像在McCulloch-Pitts模型中那样可以“独裁”，只需把抑制性突触的权重设为兴奋性突触总数的相反数。

无论是 McCulloch-Pitts 神经元还是线性阈值神经元，都只刻画了神经元活跃（1）与不活跃（0）两种状态。 而生物神经元的放电速率是连续分级的 。另外，在线性阈值神经元中，神经元的输入是电流强度（假设突触强度与神经元活动相乘得到电流），输出是放电速率，这意味着 胞体在进行一种将输入电流转换为放电速率的计算 。这种观点电生理学家也经常采用，他们通过频率-电流曲线来表征神经元，每个突触产生的电流与其突触强度以及突触前神经元的放电速率成正比。

今天深度学习技术中使用的神经元模型，其基本思路与线性阈值神经元非常相似。 考虑到神经元放电速率是连续分级的，它们以实数作为神经元的输入输出以及突触权重。区别于McCulloch-Pitts或线性阈值神经元用一个阈值划分激活还是沉默， 它们采用一些“激活函数”来得到连续且单调递增的输出 。 这就像每位选民可以更加细腻地表达自己的支持程度 ，比如投出赞同度为65%选票，而不是绝对的0或1。而突触后神经元输出的支持率，则由它接受的支持率的加权总和决定。

我们已经知道单个神经元是如何运作的 —— 如果我们愿意忽视大量复杂的生物细节，那么每个神经元所做的计算，不过是一种简单的民主投票。 一个由许许多多这种过分简化的神经元构成的网络，却 已经可以执行非常复杂的任务 ——比如视觉识别 。

我们之前提到，低阈值的兴奋性McCulloch-Pitts神经元相当于逻辑电路中的“与门”，高阈值的兴奋性McCulloch-Pitts神经元相当于逻辑电路中的“或门”。高阈值的神经元像是木讷的好脾气，不易被激活；而低阈值的神经元像是人群中极易被煽动的坏脾气，容易被激活。高阈值的神经元对于输入刺激更加挑剔，只对特定输入响应，行为相对简单；而低阈值的神经元的响应门槛很低，对许多相似的输入都会响应，行为相对复杂。换句话说， 高阈值神经元试图实现对输入的选择性 （selectivity）， 而低阈值神经元试图捕捉输入中的不变性 （invariance）。

选择性和不变性，正是视觉系统的两大特点 。我们能够从视野中识别出一块“芝士蛋糕”，依赖于神经系统的选择性将蛋糕的视觉特征和其他物体加以区分；同时，类似于赫拉克利特的河流，受视角、亮度、颜色、位置、背景的影响，我们不能两次看到同样的“芝士蛋糕”， 我们需要神经系统抓住“芝士蛋糕”视觉特征的一些不变性，来排除与这一识别过程无关的变量 。

神经科学家对视觉皮层的研究，将McCulloch-Pitts神经元的这些计算特性与 视觉过成联系起来 ，并启发了 广泛用于计算机视觉的卷积神经网络 （convolutional neural networks）。1959年，诺贝尔生理学奖得主大卫·休伯尔（David Hunter Hubel）与托斯坦·威泽尔（Torsten Nils Wiesel）发现 大脑初级视觉皮层（V1）中的一类称为“简单细胞”的神经元，能对视野中具有特定空间朝向的刺激选择性地做出反应 。一个“简单细胞”会响应接近特定方向的光条，而不响应具有其他方向的光条。

休伯尔和威泽尔还在实验中发现，除了“简单细胞”外，V1 还包含 另一类称作“复杂细胞”的神经元 。它们像“简单细胞”一样， 具有方向选择性 （orientation selectivity）， 但它们的反应对刺激光条在感受野 （receptive field） 内的位置不敏感 。这种对位置不敏感的特点很好地建立了“复杂细胞”对于特定光条的位置不变性（location invariance）。而“简单细胞”对刺激光条在其感受野的兴奋性子区域内的具体位置相当敏感。

为了解释V1中的神经元呈现出的方向选择性和位置不变性，休伯尔和威泽尔在1962年的一篇论文中提出了一个神经网络模型。在他们的模型中， “简单细胞”是具有高阈值的McCulloch-Pitts神经元 ，从 外侧膝状核 （lateral geniculate nucleus，LGN）中一些感受野沿直线排列的神经元接收输入。如果一束光条恰好有相同的朝向和位置，所有这些LGN神经元就会被激活，从而激活与这些神经元相连的视觉初级皮层中的高阈值的“简单细胞”。但如果光条的朝向发生变化，则只有这些LGN神经元中的部分被激活，兴奋性的输入总和未达到阈值，“简单细胞”不会被激活。 这就实现了“简单细胞”对方向的选择性 。

实现“复杂细胞”的位置不变性 需要神经网络的层级结构 。在Hubel-Wiesel模型中， “复杂细胞” 是具有低阈值的McCulloch-Pitts神经元 ，它们从一些具有相同方向选择性“简单细胞”接受输入。如果光条的朝向恰好是那些“简单细胞”的偏好刺激，那么至少有对应于一个位置的“简单细胞”会被激活，从而激活低阈值的“复杂细胞”。 这解释了为何刺激在感受野中的位置不会影响“复杂细胞”的活动 。

Hubel-Wiesel 的视觉模型，可以看成是一种神经元民主的层级结构。 在视觉系统里有好脾气的“简单公民”和坏脾气的“复杂公民”。好脾气的“简单公民”需要从更基层的LGN神经元听取投诉意见。只有当大量向它汇报的神经元发表了意见，才会引发它的怒火并投出一票。而“复杂公民”则从“简单公民”那儿收集信息。只要有“简单公民”投票支持，它就无法抑制自己投票的冲动。“简单公民”对意见进行筛选，“复杂公民”对意见进行整合。 这种层级化的组合使得神经系统可以实现复杂的特征抽取以及更高级的认知功能 。

受Hubel-Wiesel模型的启发，日本计算机科学家福岛邦彦（Kunihiko Fukushima）于1980年设计了一个 可以自动识别手写数字的人工神经网络Neocognitron 。手写数字可能不像自然图片（例如人类或动物）那样复杂，但是要识别这些数字仍然极具挑战。由不同人手写的数字通常看起来会非常不同，甚至一个人重复写几次相同的数字也可能有很大的差异。Neocognitron 把交替的“简单细胞”和“复杂细胞”作为网络设计的基本结构，来捕捉不同数字之间的特征差异以及相同数字共享的不变特征 。

另一个借鉴了V1中“简单细胞”和“复杂细胞”层级结构例子，就是 卷积神经网络的鼻祖LeNet 。这一著名的神经网络由图灵奖得主杨立昆（Yann LeCun）于1989年在贝尔实验室设计。卷积神经网络包含交替的 卷积层 （convolution layer）和 池化层 （pooling layer）。 卷积层中神经元类似于“简单细胞” ，通过对输入的卷积操作，实现视觉过程的选择性， 池化层中的神经元则类似“复杂细胞” ，将卷积层空间上临近的输出，通过取平均或者取极大值整合为一个神经活动，用于实现视觉过程的不变性。 交替的卷积层和池化层， 几乎是今天所有用于计算机视觉的深度神经网络的基础模块 。

用于单个神经元的民主规则是简单的，McCulloch-Pitts神经元是鼓掌通过式的民主，激活与否取决于活跃的兴奋性突触的多寡；线性阈值神经元是乔治·奥威尔式的民主，有的突触比其他突触享有更大权重。 虽然单个神经元的作用很简单，但是神经网络的功能可以很复杂 。比如在具有层级结构的神经网络中，神经元之间分布并行的民主互动可以还原大脑视觉初级皮层的信息处理过程。

这种 复杂性从简单规则中涌现 的奇妙现象，和康威的生命游戏（Conway's game of life），沃夫勒姆的110号规则（Wolfram's rule 110）有着异曲同工之妙，今天已经广为人知，并 成为联结主义人工智能的中心思想 。但是在神经网络还是新生事物的上世纪60年代， 它的普适性接受了一场严酷的考验 。这场考验直接 将人们对单层神经网络研究推向终结 ，导致了神经网络的第一次寒冬。

发起这场考验的人，正是大名鼎鼎的“人工智能之父”，图灵奖得主马文·闵斯基（Marvin Lee Minsky）。他在1969年与西摩·佩珀特（Seymour Aubrey Papert）合著的《感知机》（Perceptrons）中，证明了 单层的神经网络无法计算“异或问题” （XOR problem）。 异或是一种基本的逻辑操作，当且仅当两个事件中有且仅有一者为真时，它们的异或结果为真。 许多认知任务都需要进行异或计算，比如判断一个迷宫的连通性。