论文题目：Higher-order Granger reservoir computing: Simultaneously achieving scalable complex structures inference and accurate dynamics prediction
论文作者：李鑫，朱群喜，赵城利，段晓君，赵柏林，张雪，马欢飞，孙杰，林伟
论文链接：https://doi.org/10.1038/s41467-024-46852-1
报道链接：https://techxplore.com/news/2024-03-lightweight-machine-method-scalable-inference.html
近年来，包括储备池计算（Reservoir Computing, RC）在内的机器学习技术在复杂系统演化预测研究中取得了巨大成功。研究者致力于开发先进的机器学习方法并应用于由复杂系统生成的可观测时间序列数据，旨在深入理解和精准预测系统动力学演化行为。尽管如此，如何在保持模型轻量化的同时，更全面地利用结构信息实现对复杂动力学的精确预测，仍是一个巨大挑战。
实际复杂系统维度之高且动力学行为之复杂，往往超出想象，这是因为系统包含各式各样的非线性高阶交互作用，但这些高阶结构信息一般是仅部分已知甚至完全未知的。因此，如何根据观测的时间序列数据，准确地推断底层的高阶结构信息，是另一个巨大挑战。
为了应对以上两个挑战，研究团队基于格兰杰因果和储备池计算提出了一种数据驱动、无模型的新型机器学习框架，高阶格兰杰储备池计算（Higher-Order Granger RC, HoGRC）（如图1所示）。这一框架的创新之处在于两个核心理念：构建高阶RC并进行动力学预测，以及借助格兰杰因果思想进行高阶结构推断。具体而言，研究团队首先引入了一种节点级别的新计算范式，称为高阶RC。如图1a-b所示，对于任意节点u，高阶RC旨在将结构信息，特别是高阶结构信息通过输入矩阵![]()
和邻接矩阵![]()
编码到储备池计算中。然而，在现实应用中，系统的高阶结构往往部分未知或完全未知。针对这一问题，研究团队利用格兰杰因果的思想，设计了一种贪心迭代算法，用于推断任意节点的高阶结构，这一过程通过图1a-c的示意图进行了说明。基于这些推断出的高阶结构，研究团队进一步将其编码到高阶RC中，实现了系统演化动力学精准预测，如图1d所示。值得注意的是，HoGRC框架具备良好的可拓展性，原则上可以并行实现结构推断和动力学预测两项任务。
图1：HoGRC框架的示意图。a 观测时间序列和高阶结构作为模型输入数据。b 高阶RC新计算范式。c 高阶结构推断。d 基于推断的高阶结构的演化动力学预测。
研究团队在经典混沌系统、网络系统以及英国电网等系统上进行了一系列实验，在结构推断和动力学预测方面均展示了卓越成效。以英国电网系统为例，该系统由120个节点构成（包括10个发电站和110个终端用户），以及165条无向边，其结构如图2a中所示。为了精确模拟电网动力学，研究团队采用了包含高阶交互的Kuramoto[1]模型进行实验，其中图2a中的三角形结构代表了高阶交互项。为了展示HoGRC框架在结构推断上的优势，研究团队特别选取了节点33作为例子，通过贪心算法进行了详细的推断实验，推断过程如图2c所示。可以明显看到，推断结果与图2b中显示的真实高阶结构完全一致。进一步地，图2d和2e分别展示了采用RC、PRC[2]和HoGRC方法时的平均预测步长和节点33状态预测曲线的比较。可以观察到，HoGRC框架在动力学预测方面比基准方法具有明显的优势。这主要得益于HoGRC框架能够整合系统的高阶结构信息，进而更准确地揭示了系统的底层动力学特性。
图2：英国电网系统高阶结构推断和动力学预测。a 英国电网结构。b 节点33的高阶结构。c 节点33的高阶邻居推断过程。d RC, PRC和HoGRC方法对整个系统的平均可预测步数。e RC, PRC和HoGRC方法对节点33的外推预测表现，其中蓝线表示真实值，红线表示预测值。
在未来的研究中，若干研究方向值得深入研究。特别是，将HoGRC框架应用于更为广泛的复杂系统，尤其是那些涉及更为复杂的高阶交互作用的真实系统，具有重要实际应用价值。进一步，开发一套更加实用的算法以有效减弱或消除间接因果效应亦显得至关重要。此外，建立该框架在泛化能力方面的一般化理论，以及开发基于HoGRC框架概念的新型机器学习框架，都将对机器学习和复杂系统研究领域产生深远影响。
国际知名学术网站techxplore.com以“Lightweight machine learning method enhances scalable structural inference and dynamic prediction accuracy”为题专文推送了该工作的介绍。复旦大学智能复杂体系实验室联合培养的博士生李鑫为该论文第一作者，复旦大学林伟教授、朱群喜博士和国科大赵城利副教授为本文共同通讯作者，苏州大学马欢飞教授也在工作中给予了指导和支持。
[1] Skardal P S, Arenas A. Higher order interactions in complex networks of phase oscillators promote abrupt synchronization switching[J]. Communications Physics, 2020, 3(1): 218.
[2] Srinivasan K, Coble N, Hamlin J, et al. Parallel machine learning for forecasting the dynamics of complex networks[J]. Physical Review Letters, 2022, 128(16): 164101.
随着对现实世界探索的不断深入，人们发现在许多真实的复杂系统中，组成系统的个体之间不仅存在二元交互关系，也广泛存在多个体同时（或以特定顺序）进行交互，即高阶交互现象。为此，研究人员分别发展出了基于超图、单纯复形、依赖关系等的网络高阶表示模型，为复杂网络分析和研究提供了新的思路。
由电子科技大学吕琳媛老师、任晓龙老师及中国地质大学（北京）管青老师在集智俱乐部联合发起了【高阶网络读书会】。读书会围绕高阶交互网络的基本概念、模型、方法与应用等研究进行研讨，按照「基础理论」+「深入理论」+「案例研讨」的模式展开。读书会第一季已经圆满结束，第二季正在筹备中。现在报名加入可以解锁第一季全部录播视频并加入社群交流。
