导语

本文总结了北京师范大学系统科学学院在读博士生王硕在集智-凯风研读营上的分享，介绍其发表于 SIGSPATIAL 2020 的工作《PM_2.5-GNN: A Domain Knowledge Enhanced Graph Neural Network For PM_2.5 Forecasting》（融合领域知识的图神经网络雾霾预报模型）。这项工作将图神经网络（Graph Neural Network，GNN）与循环神经网络（GRU，Gated Recurrent Units）结合，并融入大量领域先验知识，在基于图（Graph）建模的 PM_2.5 预报中达到了当前最优（state-of-the-art, SOTA）的效果。

论文题目：

PM_2.5-GNN: A Domain Knowledge Enhanced Graph Neural Network For PM_2.5 Forecasting

论文地址：

https://arxiv.org/abs/2002.12898v1

背景

随着工业化与城市化进程的加快，大气污染成为当今世界面临的最严峻挑战之一。据世界卫生组织报道，全球每年约有700万人因大气污染而过早死亡[1]。大气污染的溯源及预报能够有效地指导个人的出行及政府的决策，如工厂停产限产、车辆限行等，具有重要的意义。近年来，我国在大气污染防治方面投入了大量的人力物力，但严重的大气污染事件仍然频繁发生。然而大气污染预报问题具有很大的挑战性，主要表现在以下几点：首先，大气污染是典型的复杂系统[3]，污染物之间会产生复杂的化学反应，生成二次污染物，使得整个系统产生整体大于部分之和的效应；在时间和空间维度均存在长程相关性[4]；此外，融入气象与环境专业的领域知识对该问题的研究至关重要[5]。

相关工作

环境领域的传统的研究手段多基于还原论的思想，使用名为 Community Multiscale Air Quality Modeling System (CMAQ) [6]的系统进行研究，通过微分方程去穷举其中涉及到的动力学过程。虽然系统有很强的可解释性和专业性，但是由于模型运行速度太慢且准确率较低，只能用于历史数据的复盘分析中。

而基于深度学习的方法使 data-driven 数据驱动的范式，受益于深度学习模型强大的数据拟合能力，这类方法往往具有很高的准确率，并且能够进行实时的雾霾预报，但当前方法在领域知识的融合上表现得不好。近年来，图神经网络（GNN）[7]的研究成为深度学习领域的热点。这类方法基于 Graph 网络的形式进行建模，其中节点表示观测站，连边表示站点之间的空间关系。这类方法不像基于 CNN 的方法会引入不准确的差值数据，GNN 的方法建模更加自然，且可以融入复杂网络的建模方式[3]，吸引了众多研究者的关注。

北京大学地球与空间科学学院发表于《Science of the Total Environment》的模型 GC-LSTM[8] 是之前的 SOTA 模型，但该工作研究的区域较小（京津冀），且受限于 GCN [9]框架的约束，连边无法显式地输入风对雾霾传播的影响。

PM_2.5-GNN模型

本文在如下图所示的地理空间进行研究（103°E-122°E 28°N-42°N），该区域包括了我国受雾霾影响最严重的几个城市群。在构建雾霾传输网络的时候，不仅需要考虑两个城市之间距离，还要考虑中间是否有影响传输的高山（雾霾一般分布在1200km以下[10]）。

文章的基本思路如下：对污染的成因进行分析与简化，一个城市污染物来源于本地排放和外地输送，风是传输的主要动力，其他气象因素比如边界层高度、降雨、湿度等都会影响污染物在本地的累积与消散。基于复杂网络的观点，将污染物颗粒看成是在所构建的城市污染物传输网络上随机游走的粒子。用循环神经网络变体GRU与图神经网络GNN的组合进行动力学的建模，分别对应于大气污染的动力学组成部分。

我们将气象数据通过节点属性、连边属性的形式输入到网络中。而雾霾的浓度定义为节点状态。那么本文所解决的问题可以被构建为输入起始时刻的雾霾观测值以及未来的气象预报数据（数据来源于 GFS，可以作为已知数据），输出未来雾霾预报数据。值得注意的是，边界层高度是对雾霾预报起到关键性作用的量，但是往往会被计算机领域的文章所忽略，本文将其作为节点属性输入进来。

下图是 PM_2.5-GNN 的模型框图。基于 GNN 的消息传递与邻居汇聚机制[7]，对于 Graph 中的每个节点（城市）都要与其具有连边的节点进行信息的交互。其中区别于 GC-LSTM 的主要是连边之间的消息传递机制，融合了与 PM_2.5 传播相关的连边属性（风速、风向、节点距离、节点方向等），并且过一个 MLP 多层感知机，由此来建模城市之间在风影响下所产生的 PM_2.5 在空间上的非线性依赖关系。

实验

本文在一个四年的数据集上做实验（划分为3个子数据集）。

在三个子数据集上，都进行3天的 PM_2.5 预报实验。使用 RMSE 和 CSI[2] 两个指标，其中 RMSE 越低越好，CSI 越高越好。能看出来，在所有子数据集上均能击败对比模型 GC-LSTM。并且，对模型的组件进行了有效性的验证。去掉其中的边界层高度 PBL或者 export 组件，都会使得结果变差。

我们选取了西安这一有代表性的城市做模型的对比实验，其中蓝线表示真实值，黄线表示模型的预测，能看出来，PM_2.5-GNN 模型更加贴合真实值。

数据和代码均已开源：https://github.com/shawnwang-tech/PM_2.5-GNN

总结

本文基于复杂网络的观点，将污染物颗粒看成是在所构建的城市雾霾传输网络上随机游走的粒子。使用 GRU 与 GNN 的组合来学习雾霾的动力学特征。其中，GRU的 cell 存储和遗忘门别建模污染物的累积与竖直方向上的消散，GNN 的消息传递与邻居汇聚分建模污染物在风影响下的传播。在基于 Graph 建模的 PM_2.5 预报中达到了 state-of-the-art 的效果。此外，该模型还可以被迁移到其他时空数据预测中，比如臭氧预报、沙尘暴预报等。

集智学园分享视频可见：

https://campus.swarma.org/course/1996（注：课程第二节是对本论文的解读）

或参考B站视频：https://www.bilibili.com/video/BV1xV411y7Ri

参考文献

[1] 空气污染如何损害我们的健康
https://www.who.int/zh/air-pollution/news-and-events/how-air-pollution-is-destroying-our-health

[2] Shi, X. et al. 2015. Convolutional LSTM network: A machine learning approach for precipitation nowcasting. Advances in Neural Information Processing Systems (2015), 802–810.

[3] Song, C. et al. 2019. Modeling Air Pollution Transmission Behavior as Complex Network and Mining Key Monitoring Station. IEEE Access. 7, (2019), 121245–121254. DOI:https://doi.org/10.1109/access.2019.2936613.

[4] Hu, J. et al. 2014. Spatial and temporal variability of PM 2.5 and PM 10 over the North China Plain and the Yangtze River Delta, China. Atmospheric Environment. 95, (2014), 598–609.
DOI:https://doi.org/10.1016/j.atmosenv.2014.07.019.

[5] Chen, Z. et al. 2020. Influence of meteorological conditions on PM_2.5 concentrations across China: A review of methodology and mechanism. Environment International. 139, (Jun. 2020), 105558. DOI:https://doi.org/10.1016/j.envint.2020.105558

[6] https://www.epa.gov/cmaq

[7] Battaglia, P.W. et al. 2018. Relational inductive biases, deep learning, and graph networks. (2018).

[8] Qi, Y. et al. 2019. A hybrid model for spatiotemporal forecasting of PM 2.5 based on graph convolutional neural network and long short-term memory. Science of the Total Environment. 664, February (2019), 1–10. DOI:https://doi.org/10.1016/j.scitotenv.2019.01.333.

[9] Kipf, T.N. and Welling, M. 2017. Semi-supervised classification with graph convolutional networks. 5th International Conference on Learning Representations, ICLR 2017 – Conference Track Proceedings (Sep. 2017).

[10] I. Uno, N. Sugimoto, A. Shimizu, K. Yumimoto, Y. Hara, and Z. Wang, “Record heavy PM_2.5 air pollution over China in January 2013: Vertical and horizontal dimensions,” Sci. Online Lett. Atmos., vol. 10, no. 1, pp. 136–140, 2014.