关键词:复杂系统,相互作用网络,随机过程,可预测性与可重构性,信息论,对偶性



论文题目:Duality between predictability and reconstructability in complex systems

论文地址:https://www.nature.com/articles/s41467-024-48020-x

期刊名称:Nature Communications


复杂系统通常由大量相互作用的单元组成,这些单元之间的相互作用网络决定了系统的整体行为。预测系统的演化过程以及从时间序列数据中重相互作用网络是复杂系统理论中的两个基本问题。尽管这两个问题密切相关,但它们通常被分开研究。近年来,随着网络科学和数据驱动模型的快速发展,研究者们开始探索这两个问题之间的深层次联系。最近,一篇发表在 Nature Communications 上的论文在这一领域取得了重要突破,揭示了可预测性与可重构性之间的复杂关系。


在这篇论文中,作者通过信息论的视角,深入探讨了复杂系统中可预测性与可重构性之间的对偶性。他们使用随机图上的随机过程来量化结构与动力学之间的相互依赖关系,并通过互信息来衡量这种关系。互信息是信息论中的一个核心概念,它衡量了两个随机变量之间的相互依赖性。作者通过引入不确定性系数,将可预测性和可重构性统一在一个框架下,并展示了这两个概念在不同系统中的行为差异。


作者首先定义了一个随机图G和一个在该图上演化的离散时间随机过程X。通过计算X和G之间的互信息I(X; G),量化动力学与结构之间的相互依赖关系。互信息不仅衡量了已知结构G对预测动力学X的帮助,也衡量了从动力学X中重建结构G的可能性。作者进一步引入了不确定性系数 U(X|G) 和 U(G|X),分别表示在已知结构 G 的情况下预测动力学X的能力,以及在已知动力学 X 的情况下重建结构 G 的能力。这些系数将互信息归一化,使得不同系统之间的比较更加直观。


通过理论分析和数值模拟,作者发现,尽管可预测性和可重构性都依赖于互信息,但它们在某些情况下会表现出对偶性。具体来说,当系统的某个参数发生变化时,可预测性和可重构性可能会朝相反的方向变化。作者将这种现象称为“ θ-对偶性”,并证明在马尔可夫链中,这种对偶性普遍存在。特别是,当动力学过程的长度 T 增加时,可重构性 U(G|X) 会单调增加,而可预测性 U(X|G) 则会单调减少。这种对偶性揭示在复杂系统中,预测和重构能力之间的内在权衡。


为了验证他们的理论,作者对几种典型的二元马尔可夫过程进行了数值模拟,包括Glauber动力学、SIS(易感-感染-易感)动力学和Cowan动力学。这些模型分别描述了磁性自旋、流行病传播和神经元活动的动力学行为。作者发现,在这些模型中,可预测性和可重构性在接近临界点时表现出明显的对偶性。特别是在临界点附近,互信息达到最大值,这表明在接近临界状态的系统中,动力学与结构之间的相互依赖性最强。这一发现与之前关于自旋动力学的研究结果一致,进一步支持了作者的理论框架。


此外,作者还探讨了动力学过程的过去信息对可预测性和可重构性的影响。他们引入了条件互信息 I(Xfuture; G|Xpast) ,衡量了在已知过去动力学Xpast 的情况下,未来动力学 Xfuture 与结构 G 之间的相互依赖关系。通过这种方式,作者展示了如何从时间序列数据中提取更多关于系统结构的信息,并进一步提高了重建网络的准确性。


论文还为实际应用提供了新的思路。例如,在神经科学中,研究者们经常需要从功能性时间序列数据中重建大脑连接网络,然后利用这些网络预测各种脑部疾病。作者的工作为这些应用提供了坚实的理论基础,并揭示了在建模复杂系统时,预测和重建能力之间的权衡必须被充分考虑。


图1. 随机图上的动力学信息图。


图2. 互信息和算法性能指标之间的比较。


图3. 依赖于过去的相关信息测量的信息图。


图4. 具有两个图和三个时间序列的示例。



龚铭康 | 编译



复杂系统自动建模读书会第二季



详情请见:

复杂系统自动建模读书会:从数据驱动到可解释性,探索系统内在规律|内附75篇领域必读文献



推荐阅读
1. Nat. Commun. 速递:深度学习预测复杂网络系统韧性
2. 混沌、吸引子、分形:复杂非线性系统的多稳定性与不可预测性
3. Nat. Commun. 前沿:数据驱动的复杂系统高阶结构推断与动力学预测
4. 张江:第三代人工智能技术基础——从可微分编程到因果推理 | 集智学园全新课程
5. 龙年大运起,学习正当时!解锁集智全站内容,开启新年学习计划

6. 加入集智,一起复杂!



点击“阅读原文”,报名读书会