导语


2024年诺贝尔物理学奖引发大家对Physics for AI的关注，中山大学黄海平教授发起的PMI Lab，长期从统计物理角度关注神经计算的理论基础，并且在2022年出版了《神经网络的统计力学》书籍，帮助学习统计力学的基本原理及其在理解神经网络内部工作原理的应用。本期我们邀请了PMI Lab成员谢明山来分享他们在今年9月新发表的工作，关于费米波色机背后的研究问题、背景、基本思想、框架和实验设计与结果。




内容简介





与人类认知处理不同，通过反向传播训练的深度神经网络容易受到对抗样本的欺骗。为了设计一种语义上有意义的表示学习方法，我们放弃了反向传播，而提出了一种局部对比学习，其中具有相同标签的输入在隐层中的表示相互靠近（类似于玻色子），而不同标签的表示则相互排斥（类似于费米子）。这种逐层学习本质上是局部的，符合生物学上的合理性。统计力学分析表明，目标费米子对距离是一个关键参数。此外，将这种局部对比学习应用于MNIST基准数据集的实验表明，通过调整目标距离，即控制原型流形的几何分离，可以显著减轻经典感知器的对抗脆弱性。




关键词




机器学习；统计力学；对抗鲁棒性；神经网络




分享大纲



    

1. Fermi-Bose machine（FBM）研究的问题

a. 传统端到端算法存在的问题：算力消耗大（生物不合理性），鲁棒性较差（与泛化性相互制约）。

2. FBM 模型的背景

a. 表示学习的相关背景：视觉神经中枢中的信息解耦过程以及深度学习中具有语义结构的隐层表征。

3. FBM 基本思想，框架介绍

a. 以类别异同作为出发点，隐层表征的数据点类比成费米玻色子，进行对比学习

b. 摒弃反向传播算法，进行逐层学习。

4. FBM 理论结果

a. 从统计物理的角度简述 FBM 学习框架

b. 简述复本对称方法以及 FBM 系统的自由能以及序参量自洽方程

c. 简述空腔方法以及消息传播方程的结果

d. 理论数值模拟结果

5. FBM 实验结果

a. 双峰泛化性表现

b. 隐层表征的几何特性

c. 鲁棒性表现

d. 数据量增大的表现

e. 从 MNIST 数据拓展到 FashionMNIST 数据后的表现

f. 类别不平衡的影响

6. FBM 复本方法推导讲解
7. FBM 空腔方法推导讲解
8. 总结




参考文献



  

1. Xie M, Wang Y, Huang H. Local-contrastive-learning machine with both generalization and adversarial robustness: a statistical physics analysis[J]. SCIENCE CHINA Physics, Mechanics & Astronomy (in press)，https://www.sciengine.com/SCPMA/doi/10. 1007/s11433-024-2504-8，arXiv preprint arXiv: 2404.13631, 2024




主讲人




谢明山，中山大学物理学院，物理，机器与智能实验室（PMI lab）硕士生，导师为黄海平教授。研究方向：统计物理，神经网络，表示学习。





分享信息




北京时间：10月14日（周一）20:00-22:00

本期分享无公开直播。感兴趣的朋友，可以扫码报名读书会，参与腾讯会议交流：
斑图链接：https://pattern.swarma.org/study_group/45?from=wechat

扫码参与AI by Complexity 读书会加入群聊，获取系列读书会回看权限，加入AI by Complexity社区，与社区的一线科研工作者沟通交流，共同探索复杂科学与AI交叉的前沿领域的发展。

报名成为主讲人
读书会成员均可以在读书会期间申请成为主讲人。主讲人作为读书会成员，均遵循内容共创共享机制，可以获得报名费退款，并共享本读书会产生的所有内容资源。详情请见：AI by Complexity 读书会启动：复杂性怎样量化和驱动下一代AI系统
扫码参与AI by Complexity读书会，加入群聊，获取系列读书会回看权限，加入AI by Complexity社区，与社区的一线科研工作者沟通交流，共同探索复杂科学与AI交叉的前沿领域的发展。


AI By Complexity读书会招募中



大模型、多模态、多智能体层出不穷，各种各样的神经网络变体在AI大舞台各显身手。复杂系统领域对于涌现、层级、鲁棒性、非线性、演化等问题的探索也在持续推进。而优秀的AI系统、创新性的神经网络，往往在一定程度上具备优秀复杂系统的特征。因此，发展中的复杂系统理论方法如何指导未来AI的设计，正在成为备受关注的问题。


集智俱乐部联合加利福尼亚大学圣迭戈分校助理教授尤亦庄、北京师范大学副教授刘宇、北京师范大学系统科学学院在读博士张章、牟牧云和在读硕士杨明哲、清华大学在读博士田洋共同发起「AI By Complexity」读书会，探究如何度量复杂系统的“好坏”？如何理解复杂系统的机制？这些理解是否可以启发我们设计更好的AI模型？在本质上帮助我们设计更好的AI系统。读书会于6月10日开始，每周一晚上20:00-22:00举办。欢迎从事相关领域研究、对AI+Complexity感兴趣的朋友们报名读书会交流！



详情请见：
AI by Complexity 读书会启动：复杂性怎样量化和驱动下一代AI系统



往期分享：

  1. 第一期 张章 于玉国 田洋 牟牧云 刘宇 杨明哲：复杂性怎样量化和驱动下一代AI系统
  2. 第二期 徐奕舟 翁康宇：统计物理与信息论视角下，结构化噪声与神经网络初始化研究
  3. 第三期 刘宇：“压缩即智能”与算法信息论
  4. 第四期 程奥华 熊巍：从高阶相互作用到神经算子模型：启发更好的AI
  5. 第五期 蒋春恒：网络属性决定神经网络模型性能
  6. 第六期 杨明哲：因果涌现启发AI的“思考”
  7. 第七期 朱群喜：从复杂系统到生成式人工智能
  8. 第九期 兰岳恒：生命、智能涌现与复杂系统研究

  9. 第十期 于玉国：脑网络信息处理自发涌现的稀疏性、不规则性和高能效性的统一



推荐阅读：
1. 神经网络理论研究的挑战性课题：统计物理能否给智能科学带来第一性原理？


课程推荐：神经网络的统计力学课程

统计物理方法是一座架起微观作用到宏观涌现的桥梁，2021年诺贝尔物理学奖得主帕里西在无序系统方面作出开创之举，他提出复本对称破缺方法解决自旋玻璃问题，这一方法也对神经网络等交叉学科产生深厚影响，激发未来对人工智能和人脑等复杂系统的进一步研究。本节课程介绍什么是自旋玻璃、自旋玻璃应用的几个经典例子、为什么需要空腔方法、空腔方法的基本思想和具体推导以及消息传递算法等内容，搭建从统计物理到神经网络重要的桥梁，帮助大家更好理解神经网络的基本原理。

课程详情：黄海平：神经网络的统计力学课程 | 50人免费名额



点击“阅读原文”，报名读书会