导语


对结构与功能关系，生长与演化规律的研究，对于理解和设计复杂系统至关重要。神经网络作为一个复杂的信息处理系统，其结构决定了其功能与效率。今年7月在 Nature Communications上发表的一篇文章“Network properties determine neural network performance”，构建了基于神经网络的拓扑结构指标可以有效筛选出最佳模型。在 AI by Complexity 读书会第五期中，我们邀请了论文一作谷歌软件工程师、美国伦斯勒理工计算机博士蒋春恒来分享他们在Network Science与AI交叉领域的研究成果。

直播将于北京时间7月21日（周日）10:00-12:00线上公开进行，欢迎感兴趣的朋友参与讨论交流！




主题：网络属性决定神经网络模型性能




内容简介
机器学习已经渗透到现代社会的方方面面，深刻影响了从AlphaGo到ChatGPT等新兴技术的发展与变革，强劲助推手机、汽车等消费产品的智能化的进程。在机器学习中，人工神经网络模型则扮演着举足轻重的角色。由于神经网络复杂的结构、数量不等的超参数、含有随机扰动的多种数据形式，我们缺乏一个统一的框架形象地揭示其底层的学习机制。为此，我们基于网络科学的平均场理论，开发出一个简洁的数学框架，将基于梯度下降的神经网络模型学习过程转化为网络动力学模型的演化过程，以此推导出一个基于神经网络的拓扑结构指标。根据这个指标我们可以以很低的训练成本，有效地预测神经网络模型收敛状态下的预测性能。将其应用到迁移学习，实现神经网络模型的筛选，在17个预训练的ImageNet模型、五个基准数据集、一个NAS基准上的实验结果表明，我们可以有效的对神经网络模型排名，筛选出最佳的模型。

关键词：神经网络、模型筛选、网络科学、平均场、迁移学习

分享大纲

  1. 平均场近似与网络韧性

  2. 神经网络模型训练

  3. 神经网络到有向图

  4. 神经网络模型性能指标

  5. 模型筛选：实验结果

  6. 未来工作展望

参考文献

  1. Jiang, C., Huang, Z., Pedapati, T., Chen, P. Y., Sun, Y., & Gao, J. (2024). Network properties determine neural network performance. Nature Communications, 15(1), 1-9.

  2. Gao, J., Barzel, B. & Barabási, A.-L. Universal resilience patterns in complex networks. Nature 530, 307–312 (2016).

  3. Lillicrap, T. P., Santoro, A., Marris, L., Akerman, C. J. & Hinton, G. Backpropagation and the brain. Nat. Rev. Neurosci. 1–12 (2020).

  4. Chandrashekaran, A. & Lane, I. R. Speeding up hyper-parameter optimization by extrapolation of learning curves using previous builds. In Joint European Conference on Machine Learning and Knowledge Discovery in Databases, 477–492 (Springer, 2017).

  5. Nguyen, C., Hassner, T., Seeger, M. & Archambeau, C. LEEP: A new measure to evaluate transferability of learned representations. In International Conference on Machine Learning, 7294–7305 (PMLR, 2020).

  6. Mellor, J., Turner, J., Storkey, A. & Crowley, E. J. Neural architecture search without training. In International Conference on Machine Learning, 7588–7598 (PMLR, 2021).

  7. Dong, X., Liu, L., Musial, K. & Gabrys, B. NATS-Bench: Benchmarking nas algorithms for architecture topology and size. IEEE Transac. Pattern Anal. Machine Intelligence 7, 3634–3646 (2021).

主讲人
蒋春恒，谷歌软件工程师，美国伦斯勒理工(RPI)计算机博士。主要研究兴趣：人工智能与网络科学、神经网络学习过程的拓扑演化与网络动力学、优化理论。




直播信息



 

时间：2024年7月21日（周日）10:00-12:00
报名参与读书会，可腾讯会议线上讨论：
斑图链接：https://pattern.swarma.org/study_group/45?from=wechat

扫码参与AI by Complexity 读书会加入群聊，获取系列读书会回看权限，加入AI by Complexity社区，与社区的一线科研工作者沟通交流，共同探索复杂科学与AI交叉的前沿领域的发展。


报名成为主讲人
读书会成员均可以在读书会期间申请成为主讲人。主讲人作为读书会成员，均遵循内容共创共享机制，可以获得报名费退款，并共享本读书会产生的所有内容资源。详情请见：AI by Complexity 读书会启动：复杂性怎样量化和驱动下一代AI系统



AI By Complexity读书会招募中


大模型、多模态、多智能体层出不穷，各种各样的神经网络变体在AI大舞台各显身手。复杂系统领域对于涌现、层级、鲁棒性、非线性、演化等问题的探索也在持续推进。而优秀的AI系统、创新性的神经网络，往往在一定程度上具备优秀复杂系统的特征。因此，发展中的复杂系统理论方法如何指导未来AI的设计，正在成为备受关注的问题。


集智俱乐部联合加利福尼亚大学圣迭戈分校助理教授尤亦庄、北京师范大学副教授刘宇、北京师范大学系统科学学院在读博士张章、牟牧云和在读硕士杨明哲、清华大学在读博士田洋共同发起「AI By Complexity」读书会，探究如何度量复杂系统的“好坏”？如何理解复杂系统的机制？这些理解是否可以启发我们设计更好的AI模型？在本质上帮助我们设计更好的AI系统。读书会于6月10日开始，每周一晚上20:00-22:00举办。欢迎从事相关领域研究、对AI+Complexity感兴趣的朋友们报名读书会交流！



详情请见：
AI by Complexity 读书会启动：复杂性怎样量化和驱动下一代AI系统


往期分享：

  1. 第一期 张章 于玉国 田洋 牟牧云 刘宇 杨明哲：复杂性怎样量化和驱动下一代AI系统

  2. 第二期 徐奕舟 翁康宇：统计物理与信息论视角下，结构化噪声与神经网络初始化研究

  3. 第三期 刘宇：“压缩即智能”与算法信息论

  4. 第四期 程奥华 熊巍：从高阶相互作用到神经算子模型：启发更好的AI

网络科学主题相关课程推荐：
网络科学1：巴拉巴西网络科学
主讲人：汪小帆、赵海兴、许小可、史定华、陈清华、张江、狄增如、陈关荣、樊瑛、刘宗华

课程链接：https://campus.swarma.org/course/1754

网络科学2：网络科学导论
主讲人：陈关荣、项林英、樊瑛、宣琦、李翔、史定华、李聪、荣智海、周进、王琳

课程链接：https://campus.swarma.org/course/2328

网络科学3：复杂网络的数学建模与应用
主讲人：陈关荣、樊瑛、周进、李翔、张江、闫小勇、刘宗华、石川、虞文武、赵海兴、史定华
课程链接：https://campus.swarma.org/course/3533


点击“阅读原文”，报名读书会