导语


从第谷积累一生的天文观测中，开普勒总结出了行星运动的三大定律，这些规律后来将牛顿引向了万有引力定律。从关于复杂系统的大量观测数据中，提取出描述状态变量之间简明关系的动力学方程，是科学发现的关键步骤。如今，人工智能算法可以帮助我们自动从高维观测数据中识别系统的隐藏状态变量，学习到隐空间动力学。本周的因果涌现读书会第三季第五期将以“隐空间动力学学习”为主题，于8月15日晚19:00-21:00进行，首先由荣英淇进行隐空间动力学的领域综述，然后杨明哲详细解读一篇最新论文“学习隐空间涌现的偏微分方程”。


「因果涌现」系列读书会第三季由北京师范大学教授、集智俱乐部创始人张江领衔发起，组织对本话题感兴趣的朋友，深入探讨因果涌现的核心理论，详细梳理领域发展脉络，并发掘因果涌现在生物网络和脑网络、涌现探测等方面的应用。读书会自7月11日开始，每周二晚19:00-21:00直播，预计持续时间10周。欢迎感兴趣的朋友报名参与！





分享内容简介



 

因果涌现本质上是一种多尺度建模的方法，试图在某个宏观尺度上发现更为简洁和本质的规律。而在有效信息等概念提出之前，也有很多其它多尺度建模方法关心这一问题。隐空间动力学的学习是一个非常成熟和广泛的领域，有许多因果涌现领域可以借鉴的方法，都已在各个具体领域有应用了。


本次分享首先会由荣英淇进行一个小综述，介绍隐空间动力学学习已有的成果，然后杨明哲会围绕 Nature Communications 最近的一篇文章——学习隐空间涌现的偏微分方程 [1]，详细展开解读，展现一个经典隐空间动力学学习的架构。




内容大纲




  • 隐空间动力学领域综述

  • 引子

        – 涌现是什么？[8]

        – 因果涌现框架下，动力学的问题在哪里？[7]

        – 从个人研究来讲，问题在哪里？（神经信息压缩器） [6]

        – 隐空间动力学的条件

        – 隐空间动力学框架案例

  • 案例概览

        – 学习涌现偏微分方程[1]

        – 控制方程[4]

        – 有效动力学[5]

  • 总结和对比

  • 学习隐空间的偏微分方程[1]

  • 建模方法

  • 具体实验





核心概念



 

  • 隐空间 Latent space
  • 偏微分方程 Partial Diffrential Equations
  • 扩散映射 Diffusion map
  • 极限环 Limit cycle
  • 控制方程 The governing equation

  • 多尺度模拟 Multiscale simulations




主讲人简介




荣英淇，集智科学研究中心科研志愿者，目前在张江老师因果涌现小组工作。本科生阶段做的是EEG时间序列里的因果发现和视觉行为的元认知概率模型；研究生计划做的是类脑视觉人工神经网络模型。
学者主页：https://pattern.swarma.org/user/26902

杨明哲，北京师范大学系统科学学院硕士生，在张江老师因果涌现研究小组。研究领域是因果涌现、复杂系统自动建模。
学者主页：https://pattern.swarma.org/user/76769




直播信息



 

时间：2023年8月15日（本周二）晚19:00-21:00

参与方式：

读书会页面：https://pattern.swarma.org/study_group_issue/509

扫码参与因果涌现读书会，加入群聊，获取系列读书会回看权限，加入因果涌现社区，与社区的一线科研工作者沟通交流，共同推动因果涌现这一前沿领域的发展。





参考文献



 

1.Kemeth, F.P., Bertalan, T., Thiem, T. et al.Learning emergent partial differential equations in a learned emergent space. Nat Commun13, 3318 (2022). https://doi.org/10.1038/s41467-022-30628-6


2.Laleh Haghverdi and others, Diffusion maps for high-dimensional single-cell analysis of differentiation data. Bioinformatics, Volume 31, Issue 18, September 2015, Pages 2989–2998, https://doi.org/10.1093/bioinformatics/btv325


3.Leeuwaarden, Johan & Stegehuis, Clara. (2021). Robust subgraph counting with distribution-free random graph analysis. Physical Review E. 104. 10.1103/PhysRevE.104.044313.


4.Champion, K.; Lusch, B.; Kutz, J.N.; Brunton, S.L. Data-driven discovery of coordinates and governing equations. Proc. Natl. Acad. Sci. USA 2019, 116, 22445–22451.


5.Vlachas, P.R., Arampatzis, G., Uhler, C. et al. Multiscale simulations of complex systems by learning their effective dynamics. Nat Mach Intell 4, 359–366 (2022). https://doi.org/10.1038/s42256-022-00464-w


6.Zhang J, Liu K. Neural Information Squeezer for Causal Emergence. Entropy (Basel). 2022 Dec 23;25(1):26. doi: 10.3390/e25010026. PMID: 36673167; PMCID: PMC9858212.


7.Hoel EP, Albantakis L, Tononi G. Quantifying causal emergence shows that macro can beat micro. Proc Natl Acad Sci U S A. 2013 Dec 3;110(49):19790-5. doi: 10.1073/pnas.1314922110. Epub 2013 Nov 18. PMID: 24248356; PMCID: PMC3856819.


8.Bedau, M. A. (1997). Weak Emergence. Philosophical Perspectives, 11, 375–399. http://www.jstor.org/stable/2216138





学习资料推荐



 

因果涌现读书会的相关分享

 • 张志仲：动力学解耦：在基于微观体系的复杂动力系统中发现宏观过程的涌现现象
https://pattern.swarma.org/study_group_issue/371
 • 寄家豪：机器学习方法赋能的复杂系统多尺度建模
https://pattern.swarma.org/study_group_issue/355
 • 尤亦庄：深度学习和重整化群
https://pattern.swarma.org/study_group_issue/2
 • 傅渥成：复杂系统中稳定的宏观规则的涌现
https://pattern.swarma.org/study_group_issue/139
 • 牟牧云：带隐状态的强化学习世界模型
https://pattern.swarma.org/study_group_issue/361

AI for 科学发现的相关分享
 • 刘子鸣：AI 科学家：迈向人工智能驱动的物理规律发现和生物医药工程
https://pattern.swarma.org/study_group_issue/456
相关文章：
AI科学家：自动发现物理系统的隐藏状态变量
AI 科学家帮助发现新的物理学定律
AI 笛卡尔：结合第一性原理和数据驱动发现自然现象的原理
从非完整和含噪声的数据中推理复杂网络动力学

神经动力学建模方向相关文章
经典综述：大尺度脑活动的动力学模型
大脑网络组织的多尺度建模：多层网络视角


集智学园最新AI课程，

张江教授亲授：第三代人工智能技术基础

——从可微分编程到因果推理


自1956年“人工智能”诞生于达特茅斯会议以来，已经经历了从早期的以符号推理为主体的第一代人工智能，和以深度神经网络、机器学习为主体的第二代人工智能。ChatGPT的横空出世、生成式AI的普及、AI for Science等新领域的突破，标志着第三代人工智能的呼之欲出。可微分编程、神经微分方程、自监督学习、生成式模型、Transformer、基于图网络的学习与推理、因果表征与因果推断，基于世界模型的强化学习……，所有这些脱胎于前两代人工智能的技术要素很有可能将构成第三代人工智能的理论与技术的基础。


本课程试图系统梳理从机器学习到大语言模型，从图神经网络到因果推理等一系列可能成为第三代人工智能基础的技术要素，为研究者或学生在生成式AI、大模型、AI for Science等相关领域的学习和研究工作奠定基础。

https://campus.swarma.org/course/5084?from=wechat

详情请见：第三代人工智能技术基础——从可微分编程到因果推理 | 集智学园全新课程


因果涌现读书会


跨尺度、跨层次的涌现是复杂系统研究的关键问题，生命起源和意识起源这两座仰之弥高的大山是其代表。而因果涌现理论、机器学习重整化技术、信息论或信息分解等近年来新兴的理论与工具，有望破解复杂系统的涌现规律。而新兴的因果表征学习、量子因果等领域也将为因果涌现研究注入新鲜血液。

集智俱乐部因果涌现读书会目前已经进行了两季。第一季读书会系统地梳理了因果涌现的概念，以及它与Sloopy Model、复杂性阈值、自指等概念之间的联系，也探讨了因果涌现理论在复杂网络、机器学习中的应用。参看：因果涌现读书会启动：连接因果、涌现与自指——跨尺度动力学与因果规律的探索。第二季读书会探讨了涌现、因果科学和机器学习三大主题的融合，包括信息论拓展、因果涌现理论、因果表示学习、多尺度机器学习动力学建模。参看：因果、涌现与机器学习：因果涌现读书会第二季启动。

此次因果涌现读书会第三季，将进一步围绕因果涌现的核心问题「因果涌现的定义」以及「因果涌现的辨识」进行深入学习和讨论，对 Erik Hoel 提出的 Causal Emergence，Causal Geometry 等因果涌现的核心理论进行探讨和剖析，并详细梳理其中涉及到的方法论，包括从动力学约简、隐空间动力学学习等其他领域中学习和借鉴相关的研究思路，最后探讨因果涌现的应用，包括基于生物网络、脑网络或者涌现探测等问题展开扩展，发掘更多的实际应用场景。

因果涌现社区聚集了500+成员，积累了大量论文解读资料。欢迎感兴趣的朋友报名，加入因果涌现社区，并解锁对应录播权限。



本季读书会详情与报名方式请参考：

因果涌现读书会第三季启动：深入多尺度复杂系统核心，探索因果涌现理论应用



点击“阅读原文”，观看直播