导语


复杂系统与人工智能究竟是一种什么样的关系,当下人工智能该往何处发展?在本期读书会中,我们邀请了复旦大学智能复杂体系实验室青年研究员朱群喜做“从复杂系统到生成式人工智能”主题分享,来回答复杂系统和人工智能之间的关系,介绍主流的复杂系统驱动的机器学习框架,探讨生成式人工智能技术的底层数学基础与模型算法,有助于启发未来人工智能研究发展方向和思考。




主题:从复杂系统到生成式人工智能




内容简介

2024年2月,国际知名人工智能公司OpenAI和Stability AI相继发布了Sora和Stable Diffusion 3.0,这些技术不仅能够生成高质量的图像和视频,还能理解复杂对象,并处理多种生成式任务。这些技术背后与复杂系统理论和方法密切相关,特别是依赖于微分方程的数学理论。神经微分方程作为一种典型的复杂系统驱动的机器学习框架,已经在多个领域取得了显著成就,并受到学术界和工业界的广泛关注和应用。

本次分享将首先介绍复杂系统相关背景,然后介绍当前主流的复杂系统驱动的机器学习框架及其变体与应用。最后,讲者将分享当下生成式人工智能技术的底层数学基础与模型算法,探讨未来复杂系统和人工智能交叉融合的可能性。

关键词:复杂系统,机器学习,微分方程,储备池计算,生成模型

分享大纲

  1. 复杂系统背景介绍

  2. 复杂系统驱动的机器学习框架

  3. 生成式人工智能技术原理算法

参考文献
  1. Chen R T Q, Rubanova Y, Bettencourt J, et al. Neural ordinary differential equations. Advances in Neural Information Processing Systems, 2018, 31.

  2. Dupont E, Doucet A, Teh Y W. Augmented neural odes. Advances in Neural Information Processing Systems, 2019, 32.

  3. Qunxi Zhu, Yao Guo, and Wei Lin [2021], Neural delay differential equations, 9th International Conference on Learning Representations (ICLR 2021).

  4. Pathak J, Hunt B, Girvan M, et al. Model-free prediction of large spatiotemporally chaotic systems from data: A reservoir computing approach. Physical Review Letters, 2018, 120(2): 024102.

  5. Min Yan, Can Huang, Peter Bienstman, Peter Tino, Wei Lin, and Jie Sun [2024], Emerging opportunities and challenges for the future of reservoir computing, Nature Communications, vol. 15, Art. no. 2056.

  6. Xin Li, Qunxi Zhu, Chengli Zhao, Xiaojun Duan, Bolin Zhao, Xue Zhang, Huanfei Ma, Jie Sun, and Wei Lin [2024], Higher-order Granger reservoir computing: Simultaneously achieving scalable complex structures inference and accurate dynamics prediction, Nature Communications, vol. 15, Art. no. 2506.

  7. Song Y, Sohl-Dickstein J, Kingma D P, et al. Score-Based Generative Modeling through Stochastic Differential Equations. International Conference on Learning Representations (ICLR 2021).

  8. Lipman Y, Chen R T Q, Ben-Hamu H, et al. Flow Matching for Generative Modeling. The Eleventh International Conference on Learning Representations (ICLR 2023).

  9. Qunxi Zhu and Wei Lin [2024], Switched flow matching: Eliminating singularities via switching ODEs, 41st International Conference on Machine Learning (ICML 2024).


主讲人
朱群喜,复旦大学智能复杂体系实验室青年研究员。2021年博士毕业于复旦大学数学科学学院。2021年至2024年在复旦大学从事博士后研究工作。致力于复杂系统和机器学习前沿的理论与方法研究,在复杂系统建模、重构、预测和智能调控以及复杂系统驱动的机器学习领域做出了一系列工作,相关成果以第一或通讯作者在综合性、控制、数学、物理、人工智能等顶级/一流学术刊物发表文章20余篇,包括综合性领域期刊Nature Communications (人工智能与机器学习、应用物理与数学两个方向的Featured Article),非线性期刊CHAOS (Editor’s Pick),物理期刊Physical Review Research/E,自动化控制理论期刊(IEEE TAC, SIAM-CON, SCL),人工智能会议(ICML , ICLR , NeurIPS, AAAI)等。研究成果得到同行大家的关注和引用 (Edward Ott、Jürgen Kurths、曹进德、桂卫华等院士,Google Research、UC Berkeley、牛津大学、剑桥大学和麻省理工等知名教授专家团队),以及国际知名学术/科技网站的报道(Phys.org, techxplore.com)。
实验室个人主页:https://iics.fudan.edu.cn/7d/52/c33358a687442/page.htm
个人主页:qunxizhu.cn




直播信息



 

时间:2024年8月12日(周一)20:00-22:00

报名直播:
报名参与读书会,可腾讯会议线上讨论:
斑图链接:https://pattern.swarma.org/study_group/45?from=wechat


扫码参与AI by Complexity 读书会加入群聊,获取系列读书会回看权限,加入AI by Complexity社区,与社区的一线科研工作者沟通交流,共同探索复杂科学与AI交叉的前沿领域的发展。


报名成为主讲人
读书会成员均可以在读书会期间申请成为主讲人。主讲人作为读书会成员,均遵循内容共创共享机制,可以获得报名费退款,并共享本读书会产生的所有内容资源。详情请见:AI by Complexity 读书会启动:复杂性怎样量化和驱动下一代AI系统



AI By Complexity读书会招募中



大模型、多模态、多智能体层出不穷,各种各样的神经网络变体在AI大舞台各显身手。复杂系统领域对于涌现、层级、鲁棒性、非线性、演化等问题的探索也在持续推进。而优秀的AI系统、创新性的神经网络,往往在一定程度上具备优秀复杂系统的特征。因此,发展中的复杂系统理论方法如何指导未来AI的设计,正在成为备受关注的问题。


集智俱乐部联合加利福尼亚大学圣迭戈分校助理教授尤亦庄、北京师范大学副教授刘宇、北京师范大学系统科学学院在读博士张章、牟牧云和在读硕士杨明哲、清华大学在读博士田洋共同发起「AI By Complexity」读书会,探究如何度量复杂系统的“好坏”?如何理解复杂系统的机制?这些理解是否可以启发我们设计更好的AI模型?在本质上帮助我们设计更好的AI系统。读书会于6月10日开始,每周一晚上20:00-22:00举办。欢迎从事相关领域研究、对AI+Complexity感兴趣的朋友们报名读书会交流!



详情请见:
AI by Complexity 读书会启动:复杂性怎样量化和驱动下一代AI系统



往期分享:

  1. 第一期 张章 于玉国 田洋 牟牧云 刘宇 杨明哲:复杂性怎样量化和驱动下一代AI系统

  2. 第二期 徐奕舟 翁康宇:统计物理与信息论视角下,结构化噪声与神经网络初始化研究

  3. 第三期 刘宇:“压缩即智能”与算法信息论

  4. 第四期 程奥华 熊巍:从高阶相互作用到神经算子模型:启发更好的AI

  5. 第五期 蒋春恒:网络属性决定神经网络模型性能

  6. 第六期 杨明哲:因果涌现启发AI的“思考”


点击“阅读原文”,报名读书会