近年来,由于图结构的强大表现力,用机器学习方法分析图的研究越来越受到重视。图神经网络(GNN)是一类基于深度学习的处理图域信息的方法。 到目前,相关研究的已经非常多了,不过我们回过头来看思考和回顾一下:解决图(Graph)数据的方法和思路有那些,这些方法和思路跟图像文本有什么异同?各大顶会提出的图网络模型有什么样的基本假设和主要功能?常用数据集Cora, Citeseer, Pubmed等有没有统一一致的对比?图神经网络和图嵌入的区别的是什么?图网络能做什么,不能做什么,图网络表示的上界在哪里?节点分类,链接预测,图分类的算法和模型都有哪些?另外,有的图数据是非常小的,有的图数据(如微信社交网络,微博社交网络)是非常巨大的,那么针对小型图网络与巨型网络分别都有什么样的模型,研究的思路跟一般的图数据有什么区别?最后,未来还有什么样的研究方向?本文整理了15篇图神经网络(GNN)相关的文献综述,这15篇相关的文献综述从不同的角度对图神经网络的发展进行了详细的总结和概述。下面是本文整理的列表: 1. Deep Learning on Graphs: A Survey清华大学 Ziwei Zhang, Peng Cui, Wenwu Zhu2. Graph Neural Networks: A Review of Methods and Applications清华大学Jie Zhou, Ganqu Cui, Zhengyan Zhang, Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, Maosong Sun3. A Comprehensive Survey on Graph Neural NetworksUTS等 Zonghan Wu, Shirui Pan, Fengwen Chen, Guodong Long, Chengqi Zhang, Philip S. Yu4. A Gentle Introduction to Deep Learning for GraphsUniversity of Pisa Davide Bacciua , Federico Erricaa , Alessio Michelia , Marco Poddaa5. LEARNING REPRESENTATIONS OF GRAPH DATA: A SURVEYUCL Mital Kinderkhedia6. Graph Neural Networks for Small Graph and Giant Network Representation Learning: An OverviewInformation Fusion and Mining Laboratory Jiawei Zhang7. A Survey on The Expressive Power of Graph Neural Networks东京大学 Ryoma Sato8. Relational inductive biases, deep learning, and graph networksDeepMind;等9. Adversarial Attack and Defense on Graph Data: A Survey UIUC等Lichao Sun, Yingtong Dou, Carl Yang等10. Heterogeneous Network Representation Learning: Survey, Benchmark, Evaluation, and BeyondUIUC Carl Yang, Yuxin Xiao, Yu Zhang, Yizhou Sun, and Jiawei Han,11 Automated Machine Learning on Graphs: A Survey清华大学 Ziwei Zhang, Xin Wang, Wenwu Zhu12. Graph Self-Supervised Learning: A SurveyMonash University等 Yixin Liu1 , Shirui Pan1 , Ming Jin1 , Chuan Zhou2 , Feng Xia3 , Philip S. Yu13. Self-Supervised Learning of Graph Neural Networks: A Unified ReviewTexas A&M University等 Yaochen Xie, Zhao Xu, Zhengyang Wang, Shuiwang Ji14. Meta-Learning with Graph Neural Networks: Methods and ApplicationsColumbia University等Debmalya Mandal, Sourav Medya, Brian Uzzi, Charu Aggarwal15. Deep Graph Structure Learning for Robust Representations: A Survey中科院自动化研究所:Yanqiao Zhu∗ , Weizhi Xu∗ , Jinghao Zhang∗ , Qiang Liu , Shu Wu† and Liang Wang 整理时间: 2021-3-18,以上pdf都可以公开获得 后续将在这里更新:https://zhuanlan.zhihu.com/p/120152289
4. A Gentle Introduction to Deep Learning for Graphs
时间:2019年12月作者:Davide Bacciu等单位:Department of Computer Science, University of Pisa篇幅:55页,共计131篇参考文献链接:https://arxiv.org/pdf/1912.12693.pdf 图、图网络的研究一个经典的并且长期存在的主题,最近已与为深度学习结合引起了相关研究人员的广泛兴趣。相关研究的数量和广度迅速增加,但是缺乏系统化的知识梳理以及缺少对早期研究的关注。这项文献综述旨在作为图深度学习领域的教程。 与最新文献不同的是,本文主要介绍了相关的概念和结构,方便读者学习和查看。论文采用了自上而下思路,介绍了DNGNs(深度神经图网络)、DBGNs(深度贝叶斯图网络)和DGGNs(深度生成图网络),下面是论文的Roadmap。
5. LEARNING REPRESENTATIONS OF GRAPH DATA: A SURVEY
时间:2019年6月作者:Mital Kinderkhedia单位:Department of Statistical Science, University College London篇幅:22页,139篇参考文献链接:https://arxiv.org/pdf/1906.02989.pdf 深度神经网络在目标识别,图像分类和自然语言处理领域显示出了巨大的成功。但是,如何用深度学习设计可学习并且能够有效输出的图网络结构仍然是一个需要研究问题。本文综述的目的是总结和讨论图数据表示学习方法的最新研究进展。 本文首先确定图数据的常用类型,然后回顾图论基础。接下来讨论了图核方法与神经网络之间关系。然后,确定用于学习图数据表示的主要方法,即:内核方法,卷积方法,图神经网络方法,图嵌入方法和概率方法。该部分讨论了每种方法下的各种方法,并通过简要讨论图表示学习未来研究的内容。 下面是本文讨论的相关图数据 图论中部分基本的概念
6. Graph Neural Networks for Small Graph and Giant Network Representation Learning: An Overview
Automated Machine Learning on Graphs: A Survey作者:Ziwei Zhang, Xin Wang, Wenwu Zhu单位:清华大学 链接:https://arxiv.org/abs/2103.00742 图机器学习在学术界和工业界都得到了广泛的研究。然而,随着图学习文献的大量涌现,涌现出大量的方法和技术,对于不同的图相关任务,人工设计最优的机器学习算法变得越来越困难。为了解决这一关键挑战,图上的自动机器学习(AutoML)结合了图机器学习和自动学习的优点,正受到学术界的关注。因此,本文对图自动学习方法进行了全面的综述,重点研究了用于图机器学习的超参数优化(HPO)和神经结构搜索(NAS)。本文进一步概述了与自动图机器学习相关的库,并深入讨论了AutoGL,这是第一个用于AutoML on graphs的专用开源库。最后,作者分享了对自动图机学习未来研究方向的看法。据作者所知,这篇论文是第一个关于图上的自动机器学习的系统和全面的综述。
12. 综述:图自监督学习
Graph Self-Supervised Learning: A Survey作者:Yixin Liu, Shirui Pan, Ming Jin, Chuan Zhou, Feng Xia, Philip S. Yu单位:Monash University等 最近,基于图的深度学习引起了人们的极大兴趣。但是,大多数工作都集中在(半)监督学习上,导致对标签的依赖度过高,泛化性差和鲁棒性差。为了解决这些问题,自监督学习(SSL)可以通过精心设计的任务提取信息知识,而无需依赖人工标签,这已经成为一种promising的趋势图学习范例。与计算机视觉/自然语言处理等其他领域不同,图上的SSL具有专有的背景,设计思想和分类法。在图自监督学习的保护下,本文对使用SSL技术处理图数据的现有方法进行了及时而全面的回顾。根据其自监督任务的设计,本文将它们分为四类。进一步讨论该研究领域中尚存的挑战和潜在的未来方向。
13. A unified Review: 图神经网络自监督学习
Self-Supervised Learning of Graph Neural Networks: A Unified Review作者:Yaochen Xie, Zhao Xu, Zhengyang Wang, Shuiwang Ji 单位:Texas A&M University等 链接:https://arxiv.org/abs/2102.10757 在监督模式下训练的深度模型在各种任务上都取得了显著的成功。在标记样本有限的情况下,自监督学习(self-supervised learning, SSL)成为利用大量未标记样本的新范式。SSL在自然语言和图像学习任务中已经取得了很好的效果。最近,利用图神经网络(GNNs)将这种成功扩展到图数据的趋势。 在本综述论文中,作者提供了使用SSL训练GNN的不同方法的统一回顾。具体来说,将SSL方法分为对比模型和预测模型。在这两类中,我们都为方法提供了一个统一的框架,以及这些方法在框架下的每个组件中的不同之处。我们对GNNs SSL方法的统一处理揭示了各种方法的异同,为开发新的方法和算法奠定了基础。我们还总结了不同的SSL设置和每个设置中使用的相应数据集。为了促进方法开发和实证比较,我们为GNNs中的SSL开发了一个标准化测试床,包括通用基线方法、数据集和评估指标的实现。
14 . 图上的元学习: 方法和应用
Meta-Learning with Graph Neural Networks: Methods and Applications作者:Debmalya Mandal, Sourav Medya, Brian Uzzi, Charu Aggarwal 单位:Columbia University等链接:https://arxiv.org/abs/2103.00137 图神经网络(GNN)是对图数据进行深度神经网络的泛化,GNN已广泛用于从药物发现到推荐系统的各个领域。但是,当可用样本很少时,此类应用上的GNN受限制。元学习一直是解决机器学习中样本不足的重要框架,近年来,研究人员已开始将元学习应用于GNN。在这项工作中,作者对图上不同的元学习方法进行了全面调查,并且根据结构,表示形式和应用对文献进行分类。最后,讨论了一些有意思的研究方向和未解决的问题。
15 . 综述:图结构学习用于鲁棒性表示
Deep Graph Structure Learning for Robust Representations: A Survey单位:中科院自动化研究所作者:Yanqiao Zhu , Weizhi Xu , Jinghao Zhang , Qiang Liu, Shu Wu† and Liang Wang链接:https://arxiv.org/pdf/2103.03036.pdf 图神经网络(GNN)被广泛用于分析图结构数据。大多数GNN方法对图结构的质量高度敏感,并且通常需要用于学习信息嵌入的完美图结构。但是,图中的噪声无处不在,因此有必要为现实世界中的问题学习可靠的表示形式。为了提高GNN模型的鲁棒性,围绕图结构学习(GSL)的中心概念提出了许多研究,旨在共同学习优化的图结构和相应的表示形式。为此,在提出的调查中,作者广泛回顾了GSL方法在学习鲁棒表示中的最新进展。具体来说,首先定义了GSL的一般范式,然后按模型结构建模方式分类的最新方法进回顾,然后将在其他图形任务中纳入GSL思想的应用程序进行分类。最后,指出了当前研究中的一些问题,并讨论了未来的方向。