专栏名称: 机器学习算法与Python学习
作为沟通学习的平台,发布机器学习与数据挖掘、深度学习、Python实战的前沿与动态,欢迎机器学习爱好者的加入,希望帮助你在AI领域更好的发展,期待与你相遇!
目录
相关文章推荐
武志红  ·  多年以后,当小姨变成了妈妈 ·  昨天  
简单心理  ·  成为一名心理咨询师,需要付出多少努力? ·  3 天前  
简单心理  ·  遇到有职业困惑的来访怎么办?| ... ·  4 天前  
胡慎之  ·  你​唯一需要讨好的人,是自己 ·  1 周前  
51好读  ›  专栏  ›  机器学习算法与Python学习

【送书】当深度学习遇上图: 图神经网络的兴起!

机器学习算法与Python学习  · 公众号  ·  · 2021-03-29 19:11

正文







(给机器学习算法与Python学习加星标,提升AI技能) 


奖品:《图神经网络:基础与前沿》x 3


参与方式:文末留言,赞数最多的3位为本次中奖者


开奖时间:2021年4月1号20点


备注:如有问题,请添加小助手微信:MLAPython,备注(姓名-单位-研究方向)



当深度学习遇上图,会碰撞出怎样的火花呢?

本文就带你来了解一下——近年来逆势而上的一门技术:图神经网络

内容选自图神经网络:基础与前沿(全彩)》一书!


01
什么是图

也许我们从来没有意识到,我们正生活在一个充满图的世界。例如,我们最熟悉的社交网络(如下图所示),就是一个最典型的图。

在计算机领域,我们通常用图指代一种广义的抽象结构,用来表示一堆实体和它们之间的关系。实体被叫作图的节点,而实体和实体之间的关系构成了图的边。严格来说,一个图 G = {V, E} 包含一个节点集合V 和一个边的集合E。

以社交网络为例,用户可以作为节点,而用户和用户之间的朋友关系可以作为。事实上,作为表示实体关系和结构化数据的一种方式,图几乎无处不在。

除此之外,在人工智能的研究和应用产品中,图结构的数据也占据了非常重要的地位。

  • 在自然语言处理中常用的知识图谱,是用来表示领域知识、促进知识推理不可或缺的载体。

  • 用于生物研究的蛋白质网络,能够表示蛋白质之间的相互作用。

  • 在化学中,如果我们把原子看成节点,将原子间的化学键看成边,那么所有分子都是天然的图结构。

  • 物联网传感器之间需要连接成图,共同获取监测状态。

  • 互联网中的链接关系让所有网页形成链接图。

  • 论文中的引用关系让所有论文形成引文图。

  • 金融交易让交易双方形成交易图。

此类例子不胜枚举。 

02
深度学习与图

毫无疑问,深度学习正在成为人类实现人工智能最重要的工具。

在当前时代,在大量数据和超强计算资源的推动下,深度学习强大的表征能力使其在各个应用领域(自然语言处理、计算机视觉、计算机语音等)有了突破性的进展。

时至今日,在人工智能各种任务的排行榜上,我们已经很难找到非深度学习的最优模型了。

然而,大部分传统深度学习模型,如卷积神经网络(Convolutional Neural Networks,CNN)、循环神经网络(Recurrent Neural Networks,RNN)等, 处理的数据都限定在欧几里得空间,如二维的网格数据—图像和一维的序列数据—文本,因为它们的模型设计正得益于欧几里得空间中这些数据的一些性质:例如,平移不变性和局部可联通性。图数据不像图像和文本一样具有规则的欧几里得空间结构,因此这些模型无法直接应用到图数据上。


图数据的特殊性质


以卷积神经网络为例,我们通过对比网格数据和图数据(如下图所示)来说明为什么它不能直接用在图上。

1. 节点的不均匀分布

在网格数据中,每个节点(不包含边缘节点)只有 4 个邻接点,因此我们可以很方便地在一个网格数据的每个小区域中定义均匀的卷积操作。而在图结构中,节点的度数可以任意变化,每个邻域中的节点数都可能不一样,我们没有办法直接把卷积操作复制到图上。

2. 排列不变性

当我们任意变换两个节点在图结构中的空间位置时,整个图的结构是不变的。如果用邻接矩阵表示图,调换邻接矩阵的两行,则图的最终表示应该是不变的。在网格中,例如在图像上,如果我们变换两行像素,则图像的结构会明显变化。因此,我们没有办法像处理图像一样直接用卷积神经网络处理图的邻接矩阵,因为这样得到的表示不具有排列不变性。

3. 边的额外属性

大部分图结构上的边并非只能取值二元的 {0,1},因为实体和实体的关系不仅仅是有和没有,在很多情况下,我们希望了解这些实体关系连接的强度或者类型。强度对应到边的权重,而类型则对应到边的属性。显然,在网格中,边是没有任何属性和权重的,而卷积神经网络也没有可以处理边的属性的机制。


将深度学习扩展到图上的挑战

由于图结构的普遍性,将深度学习扩展到图结构上的研究得到了越来越多的关注,图神经网络(Graph Neural Networks,GNN)的模型应运而生。总体来说,深度学习在图上的应用有以下几个难点。

1. 图数据的不规则性

正如前面所讲,相对于网格数据,图结构数据的不规则性使得传统的卷积神经网络不能直接应用在图上,因此,在图上,我们必须发展新的深度学习模型。

2. 图结构的多样性

作为表示实体关系的数据类型,图结构具有丰富的变体。图可以是无向的,也可以是有向的;可以是无权重的,也可以是有权重的;除了同质图,还有异构图;等等。

3. 图数据的大规模性

大数据作为深度学习的“燃料”,在各个应用领域发挥了重要的作用。在大数据时代,我们同样面临大规模的图的处理难题。我们常用的图结构数据,如互联网、社交网络、金融交易网络,动辄有数以亿计的节点和边,这对深度学习模型的效率提出了很高的要求。

4. 图研究的跨领域性

我们介绍了各种各样的图,很容易发现图的研究是横跨很多不同的领域的,而在很多任务上,研究图的性质都需要具有领域知识。例如,对分子图的性质进行预测,我们需要具有一些化学知识;对逻辑表达式的图进行处理,我们需要具有一些逻辑学知识。在《图神经网络:基础与前沿》这本书中,我们将继续探讨图神经网络如何解决这些问题。

福利时间
奖品:图神经网络:基础与前沿》x 3


本书既可作为人工智能领域研究和开发人员的技术参考书,也可作为对图上的深度学习感兴趣的高年级本科生和研究生的入门书。


参与方式:文末留言,赞数最多的3位为本次中奖者

开奖时间:2021年4月1号20点

备注:如有问题,请添加小助手微信:MLAPython,备注(姓名-单位-研究方向)