专栏名称: AI数据派
THU数据派"基于清华,放眼世界",以扎实的理工功底闯荡“数据江湖”。发布全球大数据资讯,定期组织线下活动,分享前沿产业动态。了解清华大数据,敬请关注姐妹号“数据派THU”。
目录
相关文章推荐
开发者全社区  ·  龙太子的瓜 ·  22 小时前  
进出口银行  ·  助民企 赋新能 | ... ·  昨天  
开发者全社区  ·  一顿饭42w ·  昨天  
开发者全社区  ·  华科大老师的公积金!! ·  3 天前  
51好读  ›  专栏  ›  AI数据派

斯坦福大牛Jure Leskovec:图神经网络研究最新进展

AI数据派  · 公众号  ·  · 2019-11-14 07:30

正文

转载自:学术头条(ID:SciTouTiao)

本文 1496 字25张PPT ,建议阅读 15 分钟
本文带来斯坦福大牛Jure Leskovec分享的图神经网络研究最新进展。

11月11日,斯坦福大牛Jure Leskovec到访清华,分享图神经网络研究最新进展。


Jure Leskovec有多厉害?



Jure Leskovec


图网络领域的大牛Jure Leskovec,是斯坦福大学计算机学院的副教授,也是图表示学习方法 node2vec 和 GraphSAGE 作者之一。


在谷歌学术搜索(Google Scholar)上,Jure拥有接近4.5万的论文引用数量,H指数为84。 这意味什么?


在美国,研究型大学要获得永久教职的副教授,H指数一般为10到12,晋升为正教授则大约为18。 成为美国科学院院士则一般在45以上,中位数是57。 而Jure  84的H指数也就意味着他在人工智能研究领域占有举足轻重的地位。


近年来,深度学习领域关于图神经网络(Graph Neural Networks,GNN)的研究热情日益高涨,图网络已经成为2019年各大深度学习顶会的研究热点。 GNN 处理非结构化数据时的出色能力使其在网络数据分析、推荐系统、物理建模、自然语言处理和图上的组合优化问题方面都取得了新的突破。 但是,大部分的图网络框架的建立都是基于研究者的先验或启发性知识,缺少清晰的理论支撑。


在ICLR2019中,Jure Leskovec 团队的一篇力作,图神经网络到底有多厉害( How Powerful are Graph Neural Networks) ? 提出了基于WL图同构测试的理论框架,为众多的GNN框架给出了精彩的理论分析,并提出了一个简单但强大的图网络框架 GIN(Graph Isomorphism Networks),同时验证了GIN在图分类任务上的卓越性能。 这篇文章认为图神经网络在因果推理方面有巨大的潜力,有望成为 AI 的下一个拐点。

Jure在研究什么?


Jure在演讲中提到,图形领域的机器学习是一项重要而普遍的任务,其应用范围从药物设计到社交网络中的友情推荐。 该领域的主要挑战是找到一种表示或编码图形结构的方法,以便机器学习模型可以很方便地利用它。


他介绍了图神经网络研究的最新进展,他们使用基于深度学习的技术,自动学习将图形结构编码为低维嵌入。 他还介绍了图表示学习的关键进展,包括图形卷积网络及其表示能力,探讨了它在Web级推荐系统、医疗保健、知识表示和推理方面的应用。


以下是该演讲的PPT节选。



深度学习工具箱是为简单的序列和网格而设计的,但并不是任何事物都可以表示为一个序列或一个网格。


我们怎样才能开发出更为广泛应用的神经网络呢?可以通过学习图像和序列的经典神经网络之外的新领域。




为什么这很难呢?


因为网络是复杂的!

  • 任意大小和复杂的拓扑结构(即没有像网格那样的空间局部性);
  • 无固定节点顺序或参考点;
  • 通常是动态的,具有多模态特征。


图形神经网络





GNNs的表现力如何?

理论框架:描述GNNs的判别力

  • 描述GNNs判别能力的上界;
  • 提出一种超级强大的GNNs;
  • 描述GNNs的辨别力;


关键点: 根子树
强大的GNN能够区分不同结构的根子树。
想法:如果GNN函数是内射的,GNN可以捕获/区分根子树结构;
定理:最具判别力的GNN使用内射多集函数进行相邻聚集;
如果聚合函数是内射的,则GNN可以完全捕获/区分根子树结构。



GNNs的重要性


1.GNNs能做两件事:

  • 学习如何从附近节点“借用”特征信息以丰富目标节点;
  • 每个节点可以有不同的计算图,网络也可以捕获/学习其结构;






请到「今天看啥」查看全文


推荐文章
开发者全社区  ·  龙太子的瓜
22 小时前
开发者全社区  ·  一顿饭42w
昨天
开发者全社区  ·  华科大老师的公积金!!
3 天前
奔波儿灞与灞波儿奔  ·  这些词都被玩坏了!!
8 年前
总裁营销兵法  ·  脾气这么大,让他三尺又何妨?
7 年前