图网络入门路径:从网络科学视角出发,上手深度学习前沿技术-集智俱乐部

导语

从知识图谱到概率图模型,从蛋白质相互作用网络到社交网络,从基本的逻辑线路到因特网,图与网络无处不在。由于传统机器学习方法难以处理图数据信息,近年来兴起了图神经网络方法,在诸多真实问题的建模和解决上,取得良好效果。作为正火热的新领域,图网络方法还没有非常成熟的教材教程,我们整理了这份结合多门基础课程、多篇经典论文的学习路径,供你入门参考。


图网络入门路径:从网络科学视角出发,上手深度学习前沿技术-集智俱乐部

扫码登录集智斑图,获取完整学习路径


图网络是一种结合机器学习和网络科学的前沿学科,它将传统的用于自然语言处理、图像处理、计算机视觉等领域中的神经网络、深度学习技术扩充到了一般的图上,使得这些技术可以处理类似于图、n 维流形等更加一般而普适的非欧几里德几何对象,以及多关系网络、知识图谱、带属性的图结构等更加复杂的数据结构。大概从 2015 年开始,该领域同时在学术界和工业界获得了蓬勃的发展机遇,它不仅可以很有效地解决诸如连边预测、社区划分等传统经典的网络科学问题,而且还可以解决诸如节点分类、网络重构、网络补全、图上的组合优化问题等非传统的网络科学问题,甚至还可以解决诸如计算机视觉、图像理解、自然语言处理、自动推理、机器人控制、动力学建模等人工智能领域中的问题。



一、深度学习与 PyTorch 入门


系列课程:火炬上的深度学习,特别是(下)“自然语言处理”篇


图网络入门路径:从网络科学视角出发,上手深度学习前沿技术-集智俱乐部
https://campus.swarma.org/course/217


为了能够打好深度学习的基础,以及掌握一项编程工具,建议学习集智学园上的线上课程。



二、图向量化(图嵌入)


要想用机器学习的技术处理图结构的数据,首先要做的就是将网络上的每个节点表示成规整的欧氏空间向量。



1、Word2Vec


课程:词向量原理初探与Word2Vec


图网络入门路径:从网络科学视角出发,上手深度学习前沿技术-集智俱乐部
https://campus.swarma.org/course/212



课程:浅谈Word2Vec:自然语言处理的基石


图网络入门路径:从网络科学视角出发,上手深度学习前沿技术-集智俱乐部
https://campus.swarma.org/course/212


论文题目:

Efficient Estimation of Word Representations in Vector Space

论文地址:

http://arxiv.org/abs/1301.3781

论文题目:

Distributed Representations of Words and Phrases and their Compositionality

论文地址:

https://arxiv.org/abs/1310.4546

论文题目:

Linguistic Regularities in Continuous Space Word Representations

论文地址:

https://www.aclweb.org/anthology/N13-1090/

这三篇文章引出了自然语言处理领域中经典的 Word2Vec 技术,它可以通过扫描文本,将每个单词赋予一个向量。本质上讲,如果我们将一篇文章看作是词语共现的网络:单词为节点,如果一对单词同时出现在一个句子中就连一条边,则词向量的嵌入就相当于网络的嵌入。



2、网络嵌入算法

论文题目:

DeepWalk: Online Learning of Social Representations

论文地址:

https://arxiv.org/abs/1403.6652

这是网络嵌入算法的第一篇工作。


论文题目:

node2vec: Scalable Feature Learning for Networks

论文地址:

https://arxiv.org/abs/1607.00653

这是对 DeepWalk 的改进,它目前已经成为一种 Benchmark。



三、图网络


如果详细追溯,图神经网络早在 2008 年左右就被人提出了,但是到了 2015 年左右,随着图卷积神经网络的出现与流行,人们突然发现,我们可以在图结构上进行卷积操作了,而且这种卷积操作不仅计算简单,还具有超强的准确度,这大大刺激了该领域的突飞猛进地发展。



1、图网络综述:

论文题目:

Relational inductive biases, deep learning, and graph networks

论文地址:

https://arxiv.org/abs/1806.01261

这基本上是第一篇有关图网络的综述,非常全面,但也不太容易读懂。



2、图卷积及其相关架构

论文题目:

Semi-Supervised Classification with Graph Convolutional Networks 

论文地址:

https://arxiv.org/abs/1609.02907

论文题目:

Graph Attention Networks

论文地址:

https://arxiv.org/abs/1710.10903

论文题目:

Inductive Representation Learning on Large Graphs

论文地址:

http://papers.nips.cc/paper/6703-inductive-representation-learning-on-large-graphs

第一篇是经典的图卷积工作,在半监督学习任务上效果非常好,第二篇是一种基于注意力的图卷积架构,第三篇是提出了 GraphSAGE 框架,一种可以处理大规模网络的图卷积网络,效果非常棒。



四、相关应用


可以将上述技术应用于各种具体的网络问题上,包括连边预测、节点分类、图分类、推荐算法等。这种应用非常多,我们仅挑其中几篇与本研究组最相关的工作:


1、连边预测:

论文题目:

Variational Graph Auto-Encoders

论文地址:

https://arxiv.org/abs/1403.6652


2、图分类

论文题目:

How Powerful are Graph Neural Networks?

论文地址:

https://arxiv.org/abs/1810.00826


3、推荐算法:

论文题目:

Graph Convolutional Neural Networks for Web-Scale Recommender Systems

论文地址:

https://arxiv.org/abs/1806.01973


4、动力学学习与控制:

论文题目:

Graph networks as learnable physics engines for inference and control

论文地址:

https://arxiv.org/abs/1806.01242


       


参考文献:

[1] Tomas Mikolov,Kai Chen,Greg Corrado.et al.: Efficient Estimation of Word Representations in Vector Space ,arxiv,2013

[2] Tomas Mikolov,Ilya Sutskever,Kai Chen.et al.: Distributed Representations of Words and Phrases and their Compositionality ,arxiv,2013

[3] Tomas Mikolov, Wen-tau Yih, Geoffrey Zweig: Linguistic Regularities in Continuous Space Word Representations ,2013

[4] Bryan Perozzi,Rami Al-Rfou,Steven Skiena: DeepWalk: Online Learning of Social Representations ,arxiv,2014

[5] Aditya Grover,Jure Leskovec: node2vec: Scalable Feature Learning for Networks ,arxiv,2016

[6] Peter W. Battaglia,Jessica B. Hamrick,Victor Bapst.et al.: Relational inductive biases, deep learning, and graph networks,arxiv,2018

[7] Thomas N. Kipf,Max Welling: Semi-Supervised Classification with Graph Convolutional Networks ,arxiv,2016

[8] Petar Veličković,Guillem Cucurull,Arantxa Casanova.et al.: Graph Attention Networks ,arxiv,2017

[9] Will Hamilton,Zhitao Ying,Jure Leskovec: Inductive Representation Learning on Large Graphs ,2017

[10] Thomas N. Kipf,Max Welling: Variational Graph Auto-Encoders ,arxiv,2016

[11] Keyulu Xu,Weihua Hu,Jure Leskovec.et al.: How Powerful are Graph Neural Networks? ,arxiv,2018

[12] Rex Ying,Ruining He,Kaifeng Chen.et al.: Graph Convolutional Neural Networks for Web-Scale Recommender Systems ,arxiv,2018

[13] Alvaro Sanchez-Gonzalez,Nicolas Heess,Jost Tobias Springenberg.et al.: Graph networks as learnable physics engines for inference and control ,arxiv,2018


(参考文献可上下滑动)



作者:张江

编辑:张爽


推荐阅读


超越简单规则——用图神经网络对复杂系统进行自动建模

图网络如何助力城市大脑:跨时空大尺度网约车流量预测

2020年网络科学的4个前沿方向:从时序网络到高阶网络

斯坦福ICLR2019图网络最新论文:图神经网络的表征能力有多强?

加入集智,一起复杂!



图网络入门路径:从网络科学视角出发,上手深度学习前沿技术-集智俱乐部


集智俱乐部QQ群|877391004

商务合作及投稿转载|swarma@swarma.org

◆ ◆ 

搜索公众号:集智俱乐部


加入“没有围墙的研究所”

图网络入门路径:从网络科学视角出发,上手深度学习前沿技术-集智俱乐部

让苹果砸得更猛烈些吧!



👇点击“阅读原文”,了解更多论文信息