【学习】揭秘 DeepMind 的关系推理网络

每当 DeepMind 发表一篇新文章时，媒体都会有狂热的报道，而你常常会在这些报道中读到一些充满误导性的词句。例如，有充满未来主义色彩的媒体是这样报道 DeepMind 关于关系推理网络的新论文的：

DeepMind 研发了一种可以感知周围事物的神经网络。

这样的表达不仅是误导，也使得对于人工智能领域并不是那么熟悉的用户感受到威胁。在这篇文章中，笔者整理了 DeepMind 的新论文，尝试用简单的方式来解释这个新的架构。

你可以点击这里找到论文的原始版本。

想要理解这篇论文，首先你需要对神经网络有一些基本的了解。本文会尽量按照论文的整体结构来撰写，但同时也会融合自己的一些理解。

什么是关系推理（Relational Reasoning）？

简单来说，关系推理尝试着去理解不同对象（概念）之间的关系，而这种推理被认为是智力的一个基本特征。作者们使用了一个信息图表来解释关系推理这一概念：

关系网络

作者们提出了一种神经网络，用于捕获内在的关系（例如，卷积神经网络用于捕获图像的属性）。 他们提出了一个以下的架构：

对于方程式1.0的解释.

关于O（O是一组你想要了解他们之中关系的对象）的关系网络是一个 fɸ 函数。

gθ 是另一个读取两个参数 oi 和 oj 的函数，它的输出结果是我们输入的这两个对象参数之间的”关系“。

Σ i,j 的意思是：对于 gθ ，计算所有可能的配对，并且对它们的结果求和。

神经网络和函数

在学习神经网络，反向传播算法（backprop）等时，人们很容易忘记神经网络实际上是一个单一的数学函数！ 因此，我在等式1.0中描述的函数是一个神经网络！ 更准确地说，是两个神经网络：

1. gθ , 计算两个对象之间的关系

2. fɸ , 对于 gθ 的所有结果进行求和，并且计算这个模型的最终输出结果

   gθ 和 fɸ 都是多层感知器最简单的形态。

原文链接：

http://geek.csdn.net/news/detail/209580?url_type=39&object_type=webpage&pos=1