本文讲述了DeepMind联合谷歌大脑、MIT等机构27位作者发表重磅论文，提出“图网络”（Graph network），将端到端学习与归纳推理相结合，有望解决深度学习无法进行关系推理的问题。
作为行业的标杆，DeepMind的动向一直是AI业界关注的热点。最近，这家世界最顶级的AI实验室似乎是把他们的重点放在了
探索“关系”
上面，6月份以来，接连发布了好几篇“带关系”的论文，比如：
-
关系归纳偏置（Relational inductive bias for physical construction in humans and machines）
-
关系深度强化学习（Relational Deep Reinforcement Learning）
-
关系RNN（Relational Recurrent Neural Networks）
论文比较多，但如果说有哪篇论文最值得看，那么一定选这篇——
《关系归纳偏置、深度学习和图网络》。
这篇文章联合了DeepMind、谷歌大脑、MIT和爱丁堡大学的27名作者（其中22人来自DeepMind），用37页的篇幅，对关系归纳偏置和图网络（Graph network）进行了全面阐述。
开辟一个比单独的深度学习更富有前景的方向
那么，这篇论文是关于什么的呢？DeepMind的观点和要点在这一段话里说得非常清楚：
这既是一篇意见书，也是一篇综述，还是一种统一。我们认为，如果AI要实现人类一样的能力，必须将组合泛化（combinatorial generalization）作为重中之重，而结构化的表示和计算是实现这一目标的关键。
正如生物学里先天因素和后天因素是共同发挥作用的，我们认为“人工构造”（hand-engineering）和“端到端”学习也不是只能从中选择其一，我们主张结合两者的优点，从它们的互补优势中受益。
在论文里，作者探讨了如何在深度学习结构（比如全连接层、卷积层和递归层）中，使用关系归纳偏置（relational inductive biases），促进对实体、对关系，以及对组成它们的规则进行学习。
他们提出了一个新的AI模块——图网络（graph network），是对以前各种对图进行操作的神经网络方法的推广和扩展。图网络具有强大的关系归纳偏置，为操纵结构化知识和生成结构化行为提供了一个直接的界面。
作者还讨论了图网络如何支持关系推理和组合泛化，为更复杂、可解释和灵活的推理模式打下基础。
图灵奖得主Judea Pearl：深度学习的因果推理之殇
2018年初，承接NIPS 2017有关
“深度学习炼金术”
的辩论，深度学习又迎来了一位重要的批评者。
图灵奖得主、贝叶斯网络之父Judea Pearl，在ArXiv发布了他的论文
《机器学习理论障碍与因果革命七大火花》
，
论述当前机器学习理论局限，并给出来自因果推理的7大启发。Pearl指出，当前的机器学习系统几乎完全以统计学或盲模型的方式运行，不能作为强AI的基础。他认为突破口在于“因果革命”，借鉴结构性的因果推理模型，能对自动化推理做出独特贡献。
在最近的一篇访谈中，Pearl更是直言，当前的深度学习不过只是“曲线拟合”（curve fitting）。“这听起来像是亵渎……但从数学的角度，无论你操纵数据的手段有多高明，从中读出来多少信息，你做的仍旧只是拟合一条曲线罢了。”
DeepMind的提议：把传统的贝叶斯因果网络和知识图谱，与深度强化学习融合
如何解决这个问题？DeepMind认为，要从“图网络”入手。
大数医达创始人、CMU博士邓侃为我们解释了DeepMind这篇论文的研究背景。
邓侃博士介绍，机器学习界有三个主要学派：
-
符号主义（Symbolicism）
-
连接主义（Connectionism）
-
行为主义（Actionism）
符号主义的起源，注重研究知识表达和逻辑推理。经过几十年的研究，目前这一学派的主要成果，一个是贝叶斯因果网络，另一个是知识图谱。
贝叶斯因果网络的旗手是 Judea Pearl 教授，2011年的图灵奖获得者。但是据说 2017年 NIPS 学术会议上，老爷子演讲时，听众寥寥。2018年，老爷子出版了一本新书，“The Book of Why”，为因果网络辩护，同时批判深度学习缺乏严谨的逻辑推理过程。而知识图谱主要由搜索引擎公司，包括谷歌、微软、百度推动，目标是把搜索引擎，由关键词匹配，推进到语义匹配。
连接主义的起源是仿生学，用数学模型来模仿神经元。Marvin Minsky 教授因为对神经元研究的推动，获得了1969年图灵奖。把大量神经元拼装在一起，就形成了深度学习模型，深度学习的旗手是 Geoffrey Hinton 教授。深度学习模型最遭人诟病的缺陷，是不可解释。
行为主义把控制论引入机器学习，最著名的成果是强化学习。强化学习的旗手是 Richard Sutton 教授。近年来Google DeepMind 研究员，把传统强化学习，与深度学习融合，实现了 AlphaGo，战胜当今世界所有人类围棋高手。
DeepMind 前天发表的这篇论文，提议把传统的贝叶斯因果网络和知识图谱，与深度强化学习融合，并梳理了与这个主题相关的研究进展。
DeepMind提出的“图网络”究竟是什么
在这里，有必要对说了这么多的“图网络”做一个比较详细的介绍。当然，你也可以跳过这一节，直接看后面的解读。
在
《关系归纳偏置、深度学习和图网络》
这篇论文里，作者详细解释了他们的“图网络”。图网络（GN）的框架定义了一类用于图形结构表示的关系推理的函数。GN 框架概括并扩展了各种的图神经网络、MPNN、以及 NLNN 方法，并支持从简单的构建块（building blocks）来构建复杂的结构。
GN 框架的主要计算单元是 GN block，即 “graph-to-graph” 模块，它将 graph 作为输入，对结构执行计算，并返回 graph 作为输出。如下面的 Box 3 所描述的，entity 由 graph 的节点（nodes），边的关系（relations）以及全局属性（global attributes）表示。
论文作者用 “graph” 表示具有全局属性的有向（directed）、有属性（attributed）的 multi-graph。
具体如下：
-
Directed：单向，从 “sender” 节点指向 “receiver” 节点。
-
Attribute：属性，可以编码为矢量（vector），集合（set），甚至另一个图（graph）
-
Attributed：边和顶点具有与它们相关的属性
-
Global attribute：graph-level 的属性
-
Multi-graph：顶点之间有多个边
GN 框架的 block 的组织强调可定制性，并综合表示所需关系归纳偏置（inductive biases）的新架构。
用一个例子来更具体地解释 GN。考虑在任意引力场中预测一组橡胶球的运动，它们不是相互碰撞，而是有一个或多个弹簧将它们与其他球（或全部球）连接起来。我们将在下文的定义中引用这个运行示例，以说明图形表示和对其进行的计算。
“graph” 的定义
在我们的 GN 框架中，一个 graph 被定义为一个 3 元组的
G=(U,V,E)。
U 表示一个全局属性；例如，U 可能代表重力场。
V
是节点集合
。例如，V 可能表示每个球，带有位置、速度和质量这些属性。
E
是边
的集合。
例如，E 可以表示不同球之间存在的弹簧，以及它们对应的弹簧常数。
DeepMind 发表的这篇文章，提议把深度强化学习与知识图谱等相融合，并梳理了大量的相关研究。但是，论文并没有明确说明 DeepMind 偏向于哪一种具体方案。
或许，针对不同应用场景会有不同方案，并没有通用的最佳方案。
总之，先从这篇论文看起吧。
地址：https://arxiv.org/pdf/1806.01261.pdf
顾泽苍 株式会社阿波罗日本首席科学家 工学博士日本电子情报通信学会(IEICE)正会员 日本画像电子学会(IIEEJ)正会员 日本人工知能学会(JSAI)正会员 南开大学教授 中国科学院客座研究员
研究经历
91-93年： 提出“模糊事件概率测度 理论”解决大规模集成电路的多目的最佳组合难题。
94-99年： 为了同神经网络对抗，创建 “概率尺度自组织”的机械学习理论，并在模式识别领 域中进行了大量的应用。
00-14年： 在国际上首先提出“具有隐形结构的二维码”，以及“图像直接变换二维码的ITC算法”，“概 率空间距离的定义”。
14-16年： 将概率尺度自组织同神经 网络结合，提出“SDL理 论”
人工智能面临的重大挑战
大家知道2016年，谷歌的AlphaGo战胜了全人类的围棋，这就使人工智能的关注度达到了最高潮。那么在这种情况下，我们可以马上进行产业化吗？其实我们看得很清楚，尽管它有这么辉煌的战果，但是存在它不可解决的问题。 在九十年代初期，我们曾经运用模糊事件概率测度理论解决了大规模集成电路的多目的最佳的组合的难题。在九十年代末期，我们看到了传统的神经网络它是一个大数据的组合的问题，所以它在应用上必然存在它解决不了的，比如人们都知道的黑箱的问题。
所以在那个时候我们就提出了和传统神经网络进行对抗，提出了一个我们称之为概率尺度自组织，一个很强大的学习机械模型。 于是，就决定了搞出一个全新的人工智能的模型，做这个机械学习，要解决一个模式识别问题的时候，在我们看来我们是要解决一个在欧几里得空间到概率空间的关系问题。
以上是一个最典型的从机械学习这个角度来看，模式识别是一个什么样的模型，是两个概率分布，中间有一个背测图像或者说背测声音的数据，这个数据是一个特征值，与哪个数据之间有什么样的关系，这里面就引出了概率空间尺度的问题。 从数学上讲，如果要是给出一个两个空间，而且是一个概率尺度完全不同的公式，是很难的。我们怎么解决这个问题呢？我们摸索到了一个想法，我们看到数据在欧几里得空间进入到概率空间之后，距离发生了变化，就把这个变化作为一个误差，很简单就把这两个距离统一起来了。这个公式很容易理解，比如在穿越概率空间的时候就不存在空间的分布，经过了概率空间产生了概率的实践了，那么就会有一个公式来表现，就很简单的把两个空间的距离统一了。这个距离找到以后，使我们的机械学习简化了很多。
聚类与自组织
目前国际上普遍认为无监督学习只能依赖聚类算法，但是，在实施中都不能得到理想的机器学习的应用效果，因为无监督学习，聚类的尺度是欧几里得的尺度。而新的自组织具有可以朝着大概的方向，自己自动迁移的这样的特性，初始值放在什么地方，结果是一个结果，为什么？因为它用了一个概率的尺度。所以这个模型我们称之为概率尺度自组织模型。
自组织可以通过机械学习把特征值的概率分布找出来，它通过学习最后能够得到一个超越我们目前数学上一切优化结果的最优值，甚至它可以颠覆统计学两个参数，所以它是很强大的。
新一代人工智能模型
新一代人工智能模型是三层神经网络，是一个新的，跟现在完全不同的模型，它第一层是感知层，第二层是神经层，第三层是脑层。增加了它的层数是一个非常大的复杂度，而用这样的模型增加它的深度，不会影响它的复杂度。
优点1 :独特的基于空间映射理论的图像特征抽出方法
在模式识别中，信息抽出的质量的重要性要远高于机器学习的分类算法，基于空间映射理论，将原图像通过物理模 型映射出若干个图像，可以将原图像的深层信息直接抽出， 每一个特征信息区域对应着一个机器学习，可以把所对应 的图像区域中的「高阶最大几率」的值＊抽出，这是史无前列的独特的图像信息抽出方式，而且每一个特征区域都 对应一个强大的无监督学习，由集中学习发展为分散学习，所以这是一个具有巨大能力的机器学习模型。
优点2：直接通过概率尺度自组织得到特征值概率分布
概率尺度自组织机器学习的一个功能是可以在给定的若干个 数据，通过机器学习得到一个可以超越任何优化结果的「高阶最大几率」的解，另一个功能是可以对给定的概率分布的 数据快速的直接进行概率分布的标定，标定的结果只需要保留标定的概率分布的位置信息，无需GAN那样需要大数据 来承载概率分布信息，而且不存在黑箱问题。
优点3：在神经层与脑皮层之间通过强对抗学习进行最后决策
在新一代神经网络的神经层与脑皮层之间，让采样的图像 特征向量与已经学习过的m个n维概率空间的概率分布数据 之间，通过模糊事件概率测度预选出采样的图像的特征向 量与两个最接近的概率空间的数据，然后对这两个数据的 每一维数据进行最大信赖度的评价，剔除不符合要求的某 些数据，再以模糊事件概率测度为尺度，让采样图像的特 征向量，在筛选后的这两个概率空间之间，进行微观数据 的强对抗，得到一个宏观数据的强对抗的结果，在此基础 上得到一个最终决策的阀值，通过这个阀值决定识别结果。
“深度学习”与“新型AI模型”对比
新型AI模型建立在颠覆传统的统计学的基础上，可以将随机分布的数据处理到接近母集合的水平，通过穿越欧几里德空间与概率空间的距离关系与模糊事件 概率测度关系的融合，可以实现「高阶最大几率」与「最大信赖度」的模式识 别结果，还可以发展到模式理解，以及视频检索，动态识别等应用场景。
特点
新型AI模型可以进行强对抗，可以进行视频的检索，它有它独特的特点，它是放在机器人的视觉里面的，这个是我们认为当今最好的模型。它可以进行流行的学习，不仅在图象识别的时候性能非常的好，它也可以用一个最小的芯片来实现。
新型AI模型的应用1图像直接变换代码ITC（Image To Code）技术
“超深度学习”的AI算法，在国际上最为关注的是通过手机就可实现各种AI的应 用。目前已经应用成功的是可将手机拍照的任何图像，经过超深度学习可生成1036的 二维码，还可应用到人脸识别，和语音识别，以及高精度的金融预测等领域。
2挑战四维空间视频检索
在识别对象与感知层之间的概率尺度自组织机器学习可以最大概率的跟踪图像特征点，实现四维空间的识别，并且容易建立每一幅图像之间特征点的迁移关系的数学模型等。
3超深度流形学习
超深度流形学习神经网络，以47个步骤证明，在处理非线性的函数逼近 方面具有独特的性能，完全可以高精度的对任何离散点阵的分布具 有「高阶最大几率」的逼近效果。
4汽车自动驾驶方面的应用
新型AI模型SDL应用在汽车自动驾驶技术上面，可实现图像理解，对于因恶 劣环境图像被遮挡也可正常识别；可解决视场的非线性问题；可以对应夜间大 面积的噪声扰动问题等。
5语音识别系统的应用
无监督学习可以节省数据标注的巨大投入；可在手机无需后台网络服务就可运用；可进行语音对话、语音在线翻译等。
6金融预测系统的应用
新型AI模型可实现人为介入；可针对已发生的数 据进行自组织的处理；可以自组织的获得股票的时序列的特征等。
来源：第四届中国机器人峰会
【导读】“智能助理”的时代已经到来了。机器学习已经成为全球数字化转型的关键要素之一 ,在企业领域，机器学习用例的增长在过去几年中也是显著的。预计机器学习工具和解决方案的企业级采用率将在本十年结束前达到65％ - 并且支出将达到460亿美元（根据IDC报告）。平均而言，55％的企业CIO已将机器学习视为业务加速的核心优先事项之一。在这里，我们将重点介绍2019年机器学习将如何继续发展。
作者｜Hussain Fakhruddin
编译｜专知
整理｜Yingying，李大囧
今年早些时候，美国陆军宣布将使用定制的机器学习软件工具用于战斗车辆的预测性维护。换句话说，机器学习将能够预测车辆可能需要何时以及何种类型的维修服务。另一个有趣的机器学习用例是根据之前股票收益的记录预测股市波动。最近的一项研究表明，用机器学习预测股票市场具有60％以上的准确度。在医疗健康领域，机器学习模型被用于估计一个人的死亡概率（在这种情况下的准确率远远超过90％）。零售，营销和销售以及工业/制造业场景也常有机器学习的用例出现。
“阅读”和“解释”过去的数据并预测未来
- 这是机器学习的本质而技术肯定会越来越精致。
注意：人工智能应用程序和机器学习工具的概念不再局限于机器人。相反，它们已成为业务工作流程和日常应用程序的自然扩展。
采用'针对机器学习优化的硬件'将会出现
2019年很可能是特别准备的硅芯片 - 具有定制人工智能和机器学习功能 - 成为主流，至少对于企业而言。在可预见的未来，人工智能优化硬件市场将继续快速增长。一系列新的，功能强大的处理设备将会出现 - 我们还可以看到高端CPU和GPU。总而言之，这些工具和平台将大大增强机器学习硬件的可用性。
云计算与机器学习结合
到2020年，全球云计算市场的年增长率约为25％。企业中机器学习的日益普及是推动这一激增的关键因素。为了成功实施“机器学习文化”，企业必须比以往更加关注创新 - 特别强调改进的云托管和基础设施参数。随着时间的推移，越来越多的“人工智能专用工具和系统”必须存储在云上 - 后者需要具有足够的安全性和可用性标准。强大，可扩展的云支持将帮助企业从机器学习无缝转移到深度学习，为最终用户提供更大价值，并提高他们的ROI数据。
注意：从2019年开始，一般用户将开始更清楚地了解人工智能和机器学习流程的工作原理 。鉴于人工智能正在其存在的领域（例如：医学科学）的关键性质，人们想要知道技术如何得出其结论/预测是很自然的。
继续推进胶囊网络
神经网络的优点是，它们通常不考虑选择对象的相对方向或位置。因此，可能会出现“信息差距”。而胶囊网络就是为了而生的。它们很可能在2019年及以后取代许多传统的神经网络。在性能方面，这些胶囊网络比传统的神经网络系统更具优势 - 具有更准确的模式检测功能，而且在少量数据时，错误概率也大大降低。更重要的是 - 胶囊网络也不需要重复训练迭代，以“理解”变化。
注意：基于机器学习算法的高级医疗保健模块，用于比较患者的医学图像和其他医疗图像，已经在使用。生物制药公司阿斯利康（AstraZeneca）计划广泛使用机器人和机器学习 - 用于在中国开发智能诊断系统。
人工智能助手的兴起和崛起
Siri和Google智能助理以及Alexa已经成为我们日常生活的一部分，而更重要的是，每个顶级“智能助手”都在逐年变得更加聪明（基于5000个一般性问题，Siri设法回答了大约31％，其中近80％是正确答案;在同一项调查中，Google智能助理回答了超过67％的问题，准确度低于88％。随着机器学习范围的扩大，人工智能助手已准备好超越智能家居。从明年开始，现代和起亚将开始在其新车型中提供内置的人工智能虚拟助手系统。这些助手将能够执行无数的任务 - 从远程家庭和汽车控制功能（通过语音）到目的地建议（基于先前的偏好）和导航指南。在所有生活范围内，具有机器学习功能的“智能助手”将使生活变得前所未有的简单。
注意：智能聊天机器人（具有人工智能）也正在迅速崛起。但是，有必要保持警惕 - 因为训练数据集中的偏差会对用户体验造成严重损害。微软的'Tay'聊天机器人就是这种失败的典型例子。
开发人员将专注于使用机器学习解决更多“真正的问题”
当涉及到诸如人工智能（多用途无人机和自动监控摄像头以及自动驾驶汽车等）等技术时，它很容易过火。然而，重要的是要意识到 - 虽然所有这些事情都可以成为现实 - 但是，成熟的数据驱动型生态系统的步骤必须是渐进和系统化的。在2019年，应用程序开发人员和人工智能专家将关注使用机器学习来成功解决真正的重要需求（个人和业务） - 而不是简单地制作新的深度学习工具原型。换句话说，开发人员必须明白人工智能和机器学习不仅仅是几个技术流行语 - 如果实施得当，他们的潜力可能是无穷无尽的。目前还有许多其他技术正在争夺注意力（如4d打印），除非人工智能的发展解决了实际问题，否则投资者可能会开始寻找其他地方。将“人工智能 overhype”与“人工智能事实”分开是至关重要的，并根据后者采取行动。
注意：在最近的一项研究中，发现89％的CIO计划在其业务中实施机器学习工具和应用程序。
机器人的世界？
智能机器人在工作场所的作用正逐渐增加 - 而机器学习的改进是其主要原因。在日本，到2025年，人工智能机器人将提供四分之三的老年人护理服务 - 取代人类照顾者。天元服装 - 一家中国的T恤公司 - 计划在其阿肯色州工厂使用“缝纫机器人”。一般而言，许多劳动密集型任务（特别是不需要太多专业技能的重复性活动）将在不久的将来由“智能机器人”执行。除了使工作流程更智能，提高可用性和可靠性以及缩短产品上市时间外，机器学习驱动的机器人还可以显着降低运营成本（以及外包成本，如果有的话）。提高生产率应该是工作场所全面采用人工智能的直接结果。
