导语


今天给大家介绍的是一篇哥伦比亚大学数据科学院Debmalya发表的一篇文章。文章对目前新兴的元学习与图神经网络组合这个方向做出了详细的介绍。

黄靖鑫 | 作者

DrugAI | 来源



论文题目：

Meta-Learning with Graph Neural Networks: Methods and Applications

论文地址：

https://arxiv.org/abs/2103.00137




1. 元学习的背景




元学习可以用来解决小样本问题。其基本思想是利用其他任务的先验知识，使得模型能够仅用少量的数据就可以拟合新的任务。

对于基本的有监督学习，我们可以基于给定的数据集D和损失函数loss，去优化我们的预测模型f（也就是找到最优的参数theta）。然而在元学习中，我们给定多个数据集D（这些数据集是独立同分布的）和损失函数loss，我们的任务是找到这些可以使这些数据集表现综合最优的参数w。通过这个全局共享的参数w，可以在小样本数据集上得到一个最好的模型参数theta。




2. 元学习应用到图问题




图相关任务大概可以分成三类：顶点嵌入、顶点分类和链路预测。作者分别介绍了元学习是怎么应用到这三个方向上来的。

2.1 顶点嵌入

结点的嵌入目的是学习图中的顶点表示，以便下游应用可以直接使用这些表示，且无需考虑原始图结构。这个问题十分具有挑战性，因为大多数图的分布都遵循幂定律分布，而且有许多顶点的连接很少。Liu.et al[1]通过应用元学习解决了这个问题。他们设置了一个回归模型，然后再学习顶点的嵌入。由于高度顶点的基本表示形式是准确的，因此它们会被用作元训练集来学习共同的先验知识。而低度顶点只有几个邻居（样本），回归模型将会被描述为一个元测试问题，并且通过对先验知识的少量修改，来学习这些低度顶点的嵌入。

2.2 顶点分类

顶点的分类任务是指给定图中部分顶点的标签，来预测其他顶点缺失的标签。如文档分类[2]和蛋白质分类[3]。一般情况下，很多标签都是比较新的，也就是能够用来训练的样本量很小，这个时候元学习就发挥出了它的作用。Zhou et al[4]将元学习框架应用于图上的顶点分类问题，使用具有大量标签样本的数据来学习先验知识，用来对具有少量标签样本的数据进行预测。Ding et al[4]在先前方法的基础上进行了改进。用每个标签的原型嵌入的加权平均来作为元信息加入到训练中。而Liu[5]指出，重要的是还要了解任务中顶点之间的依赖关系，并且提出了，使用具有较高集中度的顶点来更新GNN学习的表示形式。

2.3 链路预测

元学习对于通过多关系图中的边/连接学习新的关系非常有用，如药物相互作用预测。多关系图中链路预测的目标是通过已有的关系构成的三元组（head-relation-tail）作为训练集，然后去预测目前只有少量已知三元组样本的关系的其他可能的三元组。Chen et al[6]分两个步骤利用元学习解决链路预测问题：（1）通过Relation-Meta学习器，从支持集中的头和尾的嵌入来生成初始关系元（2）嵌入学习器，通过头尾顶点的嵌入来计算支持集中三元组的真值以及关系元。

多关系动态图则就更加难以管理了，这些新加入的顶点之间的样本量很少。Baek[7]提出了一种适合少样本的链路预测方法。其主要的思想是在给定的条件下将给定的图随机分割成元训练集和元测试集。




3. 元学习结合GNN




近年来，在元学习的背景下，提出了几种元学习的架构。其基本的思想都是在顶点/边级别或者图级别去共享图的表征。根据共享表示的类型，可以将现有的元学习框架分为两类。比如大多数元学习论文都采用的MAML[8]算法来训练GNN。这个算法的基本思路是在外部循环中更新共享参数，而在内部循环中更新特定于任务的参数。

3.1 节点/边级别共享表示

huang[8]使用了顶点/边级别的共享表示，去完成顶点分类的问题。其输入的图形和标签在各个任务之间可能会不同。他们分两步学习每个顶点的表示。首先，提取出某顶点在对应规则下的形成子图。然后将子图放到GCN中训练得到顶点的嵌入。

Wang[9] 还考虑了固定网络结构中少量样本的顶点预测问题，但是节点的特征是会随着任务的改变而改变的。

3.2 图级别的共享表示

图级别的共享方法应用主要是图分类问题，目标是对给定图进行分类，得到许多可能的类别之一。图分类问题通常需要大量的样本才能获得高质量的预测结果。因此对于实际的应用而言，几乎没有标签数据的少样本学习是一项很大的挑战。可以通过元学习去解决这一问题。Chauhan[10]提出了基于少样本图谱的分类预测方法，在元训练阶段训练特征提取器，用来从图中提取特征，使用一个注意力网络来预测实际的类标签。在元测试阶段，调整注意力网络来快速适应新的任务。虽然Chauhan提出了一种用于图分类的新型元学习架构，但是其中还是存在一些局限性。

首先，该架构假定测试的超类结构与测试的超类结构之间存在明显的重叠。其次，特征训练器在元训练阶段结束之后就固定了，不能让特征训练器有效的适应新任务。Buffelli[11]尝试开发了一种新的框架，以适应三种不同的任务：图分类、顶点分类和链接预测。像Chauhan一样使用两个不同的层：一个生成顶点嵌入，并将图转换为表示形式。另一个是三种类型的多头输出层任务。



4.未来的方向




作者举例了如交通预测、网络聚合、分子属性预测等新兴应用。同时，作者还阐述了这个领域在图结合优化，图挖掘问题，动态图几个方向的应用。可以说将元学习应用于GNN来解决特定的图任务是一个不断发展且令人兴奋的研究领域。


论文地址：arXiv:2103.00137[cs.LG]


参考文献

[1] Zemin Liu, Wentao Zhang, Yuan Fang, Xinming Zhang, and Steven CH Hoi. “Towards locality-aware meta-learning of tail node embeddings on networks”. In: CIKM. 2020, pp. 975–984

[2] Jie Tang, Jing Zhang, Limin Yao, Juanzi Li, Li Zhang, and Zhong Su. “Arnetminer: extraction and mining of academic social networks”. In: KDD. 2008.

[3] Karsten M Borgwardt, Cheng Soon Ong, Stefan Schonauer, SVN Vishwanathan, Alex J Smola, and ¨Hans-Peter Kriegel. “Protein function prediction via graph kernels”. In: Bioinformatics 21 (2005),pp. i47–i56.

[4] Fan Zhou, Chengtai Cao, Kunpeng Zhang, Goce Trajcevski, Ting Zhong, and Ji Geng. “Meta-Gnn: On Few-Shot Node Classification in Graph Meta-Learning”. In: CIKM. 2019, pp. 2357–2360.

[5] Zemin Liu, Yuan Fang, Chenghao Liu, and Steven CH Hoi. “Relative and Absolute Location Embedding for Few-Shot Node Classification on Graph”. In: AAAI (2021).

[6] Mingyang Chen, Wen Zhang, Wei Zhang, Qiang Chen, and Huajun Chen. “Meta Relational Learning for Few-Shot Link Prediction in Knowledge Graphs”. In: EMNLP-IJCNLP. 2019, pp. 4208–4217.

[7] Jinheon Baek, Dong Bok Lee, and Sung Ju Hwang. “Learning to extrapolate knowledge: Transductive few-shot out-of-graph link prediction”. In: NeurIPS (2020).

[8] Kexin Huang and Marinka Zitnik. “Graph meta learning via local subgraphs”. In: NeurIPS (2020)

[9] Ning Wang, Minnan Luo, Kaize Ding, Lingling Zhang, Jundong Li, and Qinghua Zheng. “Graph Fewshot Learning with Attribute Matching”. In: CIKM. 2020, pp. 1545–1554.

[10] Jatin Chauhan, Deepak Nathani, and Manohar Kaul. “Few-Shot Learning on Graphs via Super-Classes based on Graph Spectral Measures”. In: ICLR (2020)

[11] Davide Buffelli and Fabio Vandin. “A Meta-Learning Approach for Graph Representation Learning in Multi-Task Settings”. In: arXiv preprint arXiv:2012.06755 (2020).




复杂科学最新论文


集智斑图顶刊论文速递栏目上线以来，持续收录来自Nature、Science等顶刊的最新论文，追踪复杂系统、网络科学、计算社会科学等领域的前沿进展。现在正式推出订阅功能，每周通过微信服务号「集智斑图」推送论文信息。扫描下方二维码即可一键订阅：


推荐阅读



点击“阅读原文”，追踪复杂科学顶刊论文