AAAI2021 | 图神经网络研究进展解读

导语

AAAI 的英文全称是 Association for the Advance of Artificial Intelligence——美国人工智能协会。该协会是人工智能领域的主要学术组织之一，其主办的年会也是人工智能领域的国际顶级会议。在中国计算机学会的国际学术会议排名以及清华大学新发布的计算机科学推荐学术会议和期刊列表中，AAAI 均被列为人工智能领域的 A 类顶级会议。
北邮 GAMMA Lab | 来源

AAAI 2021论文接收列表如下：

https://aaai.org/Conferences/AAAI-21/wp-content/uploads/2020/12/AAAI-21_Accepted-Paper-List.Main_.Technical.Track_.pdf

本文主要梳理了AAAI 2021上图神经网络方面的最新进展，主要涵盖：
更加基础的研究：表示能力/过平滑/传播机制/灾难性遗忘更加复杂的图数据：异质图/有向图/动态图更加丰富的训练策略：混合训练/数据扩增/对比训练更加多样化的应用：推荐/药物化学/物理系统/NLP/CV

更加基础的研究：表示能力/过平滑/传播机制/灾难性遗忘

随着GNN研究的深入，一些研究者不在仅仅关注于设计模型架构，而是试图挖掘和解决GNN更加fundamental的问题，如GNN的表示能力。
大部分GNN的表示能力的上界就是WL-Test，对于同构的图结构无法区分，进而无法学习到有区分度的节点表示。ID-GNN[1]通过一个简单的ID增强策略就可以极大提升GNN的表示能力，让原本无法区分的图结构(或者GNN的聚合图)区分开来。
“传播是GNN的本质”。但是深层GNN传播远距离的信息会带来过平滑现象导致模型效果下降。GCC[2]研究了GNN的传播机制，其不仅解释了过平滑的本质，还解决了为什么GNN的各种变种可以一定程度上缓解过平滑现象。
灾难性遗忘指模型会忘记先前学习到的知识，在NN中已经有了一些研究。TWP[3]研究了GNN上的遗忘问题并提出了一种拓扑感知的权重保留技术来克服上述问题。类似的ER-GCN[4]利用经验回放机制来实现GNN在连续任务上的持续学习，也可以一定程度的可以遗忘问题。

更加复杂的图数据：异质图/有向图/动态图

在GNN的研究初期，大家的目光主要集中在简单同质图(只有一种节点和边)上，这大幅度降低了代码实现的难度。例如，经典的GCN只需要AXW即可实现。但是，实际情况往往更加复杂，随着GNN研究的深入，大家开始关注一些更为复杂也更有实际价值的图数据，如异质图、动态图、有向图和超图等。
考虑到多种类型节点之间的丰富交互，为了避免信息损失，我们需要将其建模为异质图。GraphMSE[5]就是一种针对异质图数据设计的GNN，其充分挖掘了多种交互下邻居(结构)信息来提升节点表示。HGSL[6]则探索了异质图结构对于节点表示的影响，通过学习更加的准确的图结构来提升GNN的表现。
在微博图上，用户之间有关注或者拉黑等关系，这实际是一种有向符号网络。SDGNN[7]是一种针对有向符号图设计的图神经网络，同时考虑了边的方向/符号(喜欢为正，讨厌为负)和动态图演化的相关理论(status theory 和 balance theory)来更好的建模动态性并实现图的表示学习。
图数据往往是动态变化的。HVGNN[8]在双曲空间里建模了动态图随时间演化的特性，其引入了一种时间感知的注意力机制(Tem- poral GNN)来区分不同时间段内节点的差异。RNN-GCN[9]则是将经典的时序模型RNN引入到GNN中，利用dynamic stochastic block来捕获节点和社区的演化过程，进而实现动态图上的节点聚类。

更加丰富的训练策略：混合训练/数据扩增/对比训练

经典的GNN(包括GCN和GAT)都是以半监督节点分类Loss进行训练的。随后的研究也沿着这个路线，将目光集中在如何设计更加精巧的模型架构来提升模型效果。的确，复杂的模型可以提升效果，但是其往往超参数较多且难以训练。相较于设计新的模型架构，一些研究者开始探索如何利用训练策略(如数据扩增)来提升现有GNN模型的效果。
GraphMix[10]整合了interpolation数据扩增和self-training数据扩增技术，将简单的GCN架构提升到接近SOTA的效果。例如，原始的GCN在Cora的效果只有81.3，而GraphMix训练策略可以将GCN的效果提升至83.94。同时，GraphMix无需额外的内存消耗，计算消耗也几乎不变。
类似的，GAUG[11]也尝试从数据扩增的角度来提升现有半监督GNN的效果。具体来说，GAUG设计了一个edge prediction来编码图上节点的类内同质结构，然后提升类内边的数量(移除类间边)。然后，基于修改后的更加精准的图结构，在Cora数据集上，GAUG将GCN的效果提升至83.6，将GraphSAGE的效果提升至83.2。
与上述两个工作不同，Contrastive GCNs with Graph Generation (CG3)[12] 尝试对标签进行增强。实际上，如果没有足够的监督信号，半监督学习Semi-Supervised Learning (SSL)的效果都是有限的。考虑到图上半监督学习的特点，本文不仅仅考虑了同类数据不同view之间的相关性，还建模了节点属性和图拓扑结构之间的潜在联系来作为额外的监督信号。基于增强后的图监督信号，CG3在标签率只有0.5%的情况下，可以取得8%左右的绝对准确率提升！

更加多样化的应用：推荐/药物化学/物理系统/NLP/CV

图上的链路预测实际就是推荐。将GNN用到推荐中是非常自然的一件事。HGSRec[13]将异质图神经网络用于建模淘宝用户之间的分享行为，预测了用户之间的三元分享行为。GHCF[14]将推荐系统中多样的用户-商品交互建模为多关系异质图并设计了相应的图神经网络架构来实现推荐。DHCN[15]建模了Session-based Recommendation中的超图交互，利用双通道的超图卷积网络来实现商品推荐。

图结构数据可以很好地建模分子及其之间的化学键。因此，AI制药开始尝试利用GNN来实现药物分子的研发(如性质预测，逆合成)。GTA[16]将GNN用于药物分子领域的逆合成预测问题，CAGG[17]则是从图生成的角度来实现药物分子的合成。
MGTN[18]将图像数据转为图结构数据，利用图像中不同目标(建模为子图)之间的关系建模来实现更好的多类图像分类，而PC-RGNN[19]将点云数据建模为图，利用图上不同尺度的关系聚合来强化其点云的表示。

参考文献：Identity-aware Graph Neural Networks
Why Do Attributes Propagate in Graph Convolutional Neural Networks
Overcoming Catastrophic Forgetting in Graph Neural Networks
Overcoming Catastrophic Forgetting in Graph Neural Networks with Experience Replay
GraphMSE: Efficient Meta-path Selection in Semantically Aligned Feature Space for Graph Neural Networks
Heterogeneous Graph Structure Learning for Graph Neural Networks
SDGNN: Learning Node Representation for Signed Directed Networks
Hyperbolic Variational Graph Neural Network for Modeling Dynamic Graphs
Interpretable Clustering on Dynamic Graphs with Recurrent Graph Neural Networks
GraphMix: Improved Training of GNNs for Semi-Supervised Learning
Data Augmentation for Graph Neural Networks
Contrastive and Generative Graph Convolutional Networks for Graph-based Semi-Supervised Learning
Who You Would Like to Share With? A Study of Share Recommendation in Social E-commerce
Graph Heterogeneous Multi-Relational Recommendation
Self-Supervised Hypergraph Convolutional Networks for Session-based Recommendation
GTA: Graph Truncated Attention for Retrosynthesis
Cost-Aware Graph Generation: A Deep Bayesian Optimization Approach
Modular Graph Transformer Networks for Multi-Label Image Classification
PC-RGNN: Point Cloud Completion and Graph Neural Network for 3D Object Detection