导语

从知识图谱到概率图模型，从蛋白质相互作用网络到社交网络，从基本的逻辑线路到因特网，图与网络无处不在。由于传统机器学习方法难以处理图数据信息，近年来兴起了图神经网络方法，在诸多真实问题的建模和解决上，取得良好效果。作为正火热的新领域，图网络方法还没有非常成熟的教材教程，我们整理了这份结合多门基础课程、多篇经典论文的学习路径，供你入门参考。

扫码登录集智斑图，获取完整学习路径

图网络是一种结合机器学习和网络科学的前沿学科，它将传统的用于自然语言处理、图像处理、计算机视觉等领域中的神经网络、深度学习技术扩充到了一般的图上，使得这些技术可以处理类似于图、n 维流形等更加一般而普适的非欧几里德几何对象，以及多关系网络、知识图谱、带属性的图结构等更加复杂的数据结构。大概从 2015 年开始，该领域同时在学术界和工业界获得了蓬勃的发展机遇，它不仅可以很有效地解决诸如连边预测、社区划分等传统经典的网络科学问题，而且还可以解决诸如节点分类、网络重构、网络补全、图上的组合优化问题等非传统的网络科学问题，甚至还可以解决诸如计算机视觉、图像理解、自然语言处理、自动推理、机器人控制、动力学建模等人工智能领域中的问题。

一、深度学习与 PyTorch 入门

系列课程：火炬上的深度学习，特别是（下）“自然语言处理”篇

https://campus.swarma.org/course/217

为了能够打好深度学习的基础，以及掌握一项编程工具，建议学习集智学园上的线上课程。

二、图向量化（图嵌入）

要想用机器学习的技术处理图结构的数据，首先要做的就是将网络上的每个节点表示成规整的欧氏空间向量。

1、Word2Vec

课程：词向量原理初探与Word2Vec

https://campus.swarma.org/course/212

课程：浅谈Word2Vec：自然语言处理的基石

https://campus.swarma.org/course/212

论文题目：

Efficient Estimation of Word Representations in Vector Space

论文地址：

http://arxiv.org/abs/1301.3781

论文题目：

Distributed Representations of Words and Phrases and their Compositionality

论文地址：

https://arxiv.org/abs/1310.4546

论文题目：

Linguistic Regularities in Continuous Space Word Representations

论文地址：

https://www.aclweb.org/anthology/N13-1090/

这三篇文章引出了自然语言处理领域中经典的 Word2Vec 技术，它可以通过扫描文本，将每个单词赋予一个向量。本质上讲，如果我们将一篇文章看作是词语共现的网络：单词为节点，如果一对单词同时出现在一个句子中就连一条边，则词向量的嵌入就相当于网络的嵌入。

2、网络嵌入算法

论文题目：

DeepWalk: Online Learning of Social Representations

论文地址：

https://arxiv.org/abs/1403.6652

这是网络嵌入算法的第一篇工作。

论文题目：

node2vec: Scalable Feature Learning for Networks

论文地址：

https://arxiv.org/abs/1607.00653

这是对 DeepWalk 的改进，它目前已经成为一种 Benchmark。

三、图网络

如果详细追溯，图神经网络早在 2008 年左右就被人提出了，但是到了 2015 年左右，随着图卷积神经网络的出现与流行，人们突然发现，我们可以在图结构上进行卷积操作了，而且这种卷积操作不仅计算简单，还具有超强的准确度，这大大刺激了该领域的突飞猛进地发展。

1、图网络综述：

论文题目：

Relational inductive biases, deep learning, and graph networks

论文地址：

https://arxiv.org/abs/1806.01261

这基本上是第一篇有关图网络的综述，非常全面，但也不太容易读懂。

2、图卷积及其相关架构

论文题目：

Semi-Supervised Classification with Graph Convolutional Networks

论文地址：

https://arxiv.org/abs/1609.02907

论文题目：

Graph Attention Networks

论文地址：

https://arxiv.org/abs/1710.10903

论文题目：

Inductive Representation Learning on Large Graphs

论文地址：

http://papers.nips.cc/paper/6703-inductive-representation-learning-on-large-graphs

第一篇是经典的图卷积工作，在半监督学习任务上效果非常好，第二篇是一种基于注意力的图卷积架构，第三篇是提出了 GraphSAGE 框架，一种可以处理大规模网络的图卷积网络，效果非常棒。

四、相关应用

可以将上述技术应用于各种具体的网络问题上，包括连边预测、节点分类、图分类、推荐算法等。这种应用非常多，我们仅挑其中几篇与本研究组最相关的工作：

1、连边预测：

论文题目：

Variational Graph Auto-Encoders

论文地址：

https://arxiv.org/abs/1403.6652

2、图分类：

论文题目：

How Powerful are Graph Neural Networks?

论文地址：

https://arxiv.org/abs/1810.00826

3、推荐算法：

论文题目：

Graph Convolutional Neural Networks for Web-Scale Recommender Systems

论文地址：

https://arxiv.org/abs/1806.01973

4、动力学学习与控制：

论文题目：

Graph networks as learnable physics engines for inference and control

论文地址：

https://arxiv.org/abs/1806.01242

参考文献：

[1] Tomas Mikolov,Kai Chen,Greg Corrado.et al.: Efficient Estimation of Word Representations in Vector Space ,arxiv,2013

[2] Tomas Mikolov,Ilya Sutskever,Kai Chen.et al.: Distributed Representations of Words and Phrases and their Compositionality ,arxiv,2013

[3] Tomas Mikolov, Wen-tau Yih, Geoffrey Zweig: Linguistic Regularities in Continuous Space Word Representations ,2013

[4] Bryan Perozzi,Rami Al-Rfou,Steven Skiena: DeepWalk: Online Learning of Social Representations ,arxiv,2014

[5] Aditya Grover,Jure Leskovec: node2vec: Scalable Feature Learning for Networks ,arxiv,2016

[6] Peter W. Battaglia,Jessica B. Hamrick,Victor Bapst.et al.: Relational inductive biases, deep learning, and graph networks,arxiv,2018

[7] Thomas N. Kipf,Max Welling: Semi-Supervised Classification with Graph Convolutional Networks ,arxiv,2016

[8] Petar Veličković,Guillem Cucurull,Arantxa Casanova.et al.: Graph Attention Networks ,arxiv,2017

[9] Will Hamilton,Zhitao Ying,Jure Leskovec: Inductive Representation Learning on Large Graphs ,2017

[10] Thomas N. Kipf,Max Welling: Variational Graph Auto-Encoders ,arxiv,2016

[11] Keyulu Xu,Weihua Hu,Jure Leskovec.et al.: How Powerful are Graph Neural Networks? ,arxiv,2018

[12] Rex Ying,Ruining He,Kaifeng Chen.et al.: Graph Convolutional Neural Networks for Web-Scale Recommender Systems ,arxiv,2018

[13] Alvaro Sanchez-Gonzalez,Nicolas Heess,Jost Tobias Springenberg.et al.: Graph networks as learnable physics engines for inference and control ,arxiv,2018

（参考文献可上下滑动）