导语


统计物理方法是一座架起微观作用到宏观涌现的桥梁，2021年诺贝尔物理学奖得主帕里西在无序系统方面作出开创之举，他提出复本对称破缺方法解决自旋玻璃问题，这一方法也对神经网络等交叉学科产生深厚影响，激发学者对人工智能和人脑等复杂系统的进一步研究。由中山大学黄海平教授组织的【神经网络的统计力学】系列课程，系统性梳理统计力学的基本原理及其在理解神经网络内部工作原理的应用，自2022年9月持续到2023年6月，周六授课。课程视频将在集智学园网站同步，购课回看录播请扫二维码或下拉至文末报名。


5月13日（周六）10:00-12:00 将进行系列课程的第23讲，重点介绍从深度网络的冗余性出发，提出的随机路径模型，以及几种物理启发的深度学习算法，包括以二值网络为例考虑的深度网络的平均场视角，为探究深度的信用分配问题提出的深度网络的系统学习算法Spike and Slab模型，为理解大规模的网络权重矩阵从量子力学态分解获得启发的模式分解方法等，为理解深度学习提供了一个新的视角。本节课程会在集智学园视频号和B站直播，预约及付费报名方式见下文。


AI+Science 是近年兴起的将人工智能和科学相结合的一种趋势。其中一个重要的方面是 Science for AI，科学尤其是物理学中的规律和思想启发机器学习理论，为人工智能的发展提供全新的视角和方法。集智俱乐部联合斯坦福大学计算机科学系博士后研究员吴泰霖（Jure Leskovec 教授指导）、哈佛量子计划研究员扈鸿业、麻省理工学院物理系博士生刘子鸣（Max Tegmark 教授指导），共同发起以“AI+Science”为主题的读书会，探讨该领域的重要问题，共学共研相关文献。欢迎加入。






课程简介




在21、22讲中，我们介绍了感知机的统计力学。然而，感知机的学习并非深度学习，因为它本质上属于单层神经网络。深度网络在具有更丰富物理现象的同时，也将使得精确的物理解析变得难以入手。

本节课程，我们从深度网络的冗余性出发，提出随机路径模型（RAP，Random Active Path Model）。具体来说，我们在一定的学习假设下将P-层神经网络转化成P-体相互作用模型，进而通过空腔方法对模型进行分析。这帮助我们发现蕴含在深度网络与冗余性相关的一级相变。之后将进入对几种物理启发算法的介绍，首先我们以二值网络为例，考虑一种训练深度网络的平均场视角。随后，为了探究深度学习的信用分配问题，我们介绍深度网络的系综学习算法 （SaS，Spike and Slab Model），在学习的过程中揭示每个部分微观组成因子对决策的贡献（由每条连接权值的概率分布刻画）。最后，为了理解大规模的网络权重矩阵，我们从量子力学态分解得到灵感， 使用模式分解（MDL，Mode Decomposition Learning）的方法将网络的决策行为理解为几个占主导模式的贡献，从而极大地减少了达成决策行为所需要的学习参数，并且为理解深度学习提供了一个新的视角。

本主题对应SMNN书籍的第14章，具体为：
Chapter 14:  Mean-Field Model of Multi-layered Perceptron
  • 14.1 Random Active Path Model
  • 14.2 Mean-Field Training Algorithms
  • 14.3 Spike and Slab Model





本节课程大纲



 
1.介绍随机路径模型（RAP）
2.平均场训练算法
3.统计系统角度的深度学习模型：Spike and Slab（SaS）
4.量子力学态分解启发的模式分解（MDL）方法

关键词：随机路径模型；空腔方法；平均场；信用分配；模式分解





负责人介绍




黄海平，中山大学物理学院教授。本科毕业于中山大学理工学院，博士毕业于中国科学院理论物理研究所，随后在香港科技大学物理系、东京工业大学计算智能系  (2012年获日本学术振兴会资助) 以及日本理化学研究所 (RIKEN) 脑科学中心从事统计物理与机器学习、  神经计算交叉的基础理论研究，2017年因在无监督学习方面的研究获得 RIKEN  杰出研究奖。于2018年入选中山大学百人计划，在物理学院组建了“物理、机器与智能”  （PMI）研究小组，专注于各种神经计算的理论基础，长期目标是使用基于物理的近似来揭示机器及大脑智能的基本原理。曾主持国家自然科学基金两项。

PMI Lab：https://www.labxing.com/hphuang2018




直播信息




直播时间：

2023年5月13日（周六）10:00-12:00


参与方式一：视频号预约直播
  • 集智学园视频号预约

  • 集智学园 B 站免费直播，房间号 https://live.bilibili.com/6782735


参与方式二：付费加入课程，查看课程回放

付费后，可参与集智学园平台直播并加入交流群获得视频回放权限。欢迎对统计力学的基本原理感兴趣的你，加入【神经网络的统计力学】课程！

课程定价：499元

课程时间：从2023年2月18日起，每周六 10:00-12:00（节假日除外）

扫码付费报名课程

https://campus.swarma.org/course/4543


付费流程：

第一步：扫码付费

第二步：在课程详情页面，填写“学员信息登记表”

第三步：扫码添加助教微信，入群

本课程可开发票。


神经网络的统计力学

每周更新，持续报名中


本学期内容介绍

本季内容从2023年2月底～6月底，将围绕书籍第9章-17章进行介绍，我们将讲授现代神经网络的前沿理论，覆盖监督学习，无监督学习，深度网络降维理论，循环神经网络的动力学平均场理论，随机矩阵理论等。我们将在学习理论的同时穿插各种小项目和文献阅读，帮助学生全方位的鸟瞰神经网络理论研究的全貌。


系列课程大纲

课程主要目的是培养一批有望在神经网络理论深耕的青年学者（侧重学生），课程涉及黄海平老师最新出版的书籍《Statistical Mechanics of Neural Networks》的大部分内容，目标是学习统计力学的基本原理及其在理解神经网络内部工作原理的应用。书籍涵盖了用于理解神经网络原理的必要统计力学知识，包括复本方法、空腔方法、平均场近似、变分法、随机能量模型、Nishimori条件、动力学平均场理论、对称性破缺、随机矩阵理论等，同时详细描述了监督学习、无监督学习、联想记忆网络、感知器网络、随机循环网络等神经网络及其功能的物理模型以及解析理论。本书通过简洁的模型展示了神经网络原理的数学美和物理深度，并介绍了相关历史和展望未来研究的重要课题，可供对神经网络原理感兴趣的学生、研究人员以及工程师阅读参考。


书籍目录（详版）：
Chapter 1:  Introduction
Chapter 2:  Spin Glass Models and Cavity Method
  • 2.1 Multi-spin Interaction Models
  • 2.2 Cavity Method
  • 2.3 From Cavity Method to Message Passing Algorithms
Chapter 3:  Variational Mean-Field Theory and Belief Propagation
  • 3.1 Variational Method
  • 3.2 Variational Free Energy
  • 3.3 Mean-Field Inverse Ising Problem
Chapter 4:  Monte Carlo Simulation Methods
  • 4.1 Monte Carlo Method
  • 4.2 Importance Sampling
  • 4.3 Markov Chain Sampling
  • 4.4 Monte Carlo Simulations in Statistical Physics
Chapter 5:  High-Temperature Expansion
  • 5.1 Statistical Physics Setting
  • 5.2 High-Temperature Expansion
  • 5.3 Properties of the TAP Equation
Chapter 6:  Nishimori Line
  • 6.1 Model Setting
  • 6.2 Exact Result for Internal Energy
  • 6.3 Proof of No RSB Effects on the Nishimori Line
Chapter 7:  Random Energy Model
  • 7.1 Model Setting
  • 7.2 Phase Diagram
Chapter 8:  Statistical Mechanical Theory of Hopfield Model
  • 8.1 Hopfield Model
  • 8.2 Replica Method
  • 8.3 Phase Diagram
  • 8.4 Hopfield Model with Arbitrary Hebbian Length
Chapter 9:  Replica Symmetry and Replica Symmetry Breaking
  • 9.1 Generalized Free Energy and Complexity of States
  • 9.2 Applications to Constraint Satisfaction Problems
  • 9.3 More Steps of Replica Symmetry Breaking
Chapter 10:  Statistical Mechanics of Restricted Boltzmann Machine
  • 10.1 Boltzmann Machine
  • 10.2 Restricted Boltzmann Machine
  • 10.3 Free Energy Calculation
  • 10.4 Thermodynamic Quantities Related to Learning
  • 10.5 Stability Analysis
  • 10.6 Variational Mean-Field Theory for Training Binary RBMs
Chapter 11:  Simplest Model of Unsupervised Learning with Binary
  • 11.1 Model Setting
  • 11.2 Derivation of sMP and AMP Equations
  • 11.3 Replica Computation
  • 11.4 Phase Transitions
  • 11.5 Measuring the Temperature of Dataset
Chapter 12:  Inherent-Symmetry Breaking in Unsupervised Learning
  • 12.1 Model Setting
  • 12.2 Phase Diagram
  • 12.3 Hyper-Parameters Inference
Chapter 13:  Mean-Field Theory of Ising Perceptron
  • 13.1 Ising Perceptron model
  • 13.2 Message-Passing-Based Learning
  • 13.3 Replica Analysis
Chapter 14:  Mean-Field Model of Multi-layered Perceptron
  • 14.1 Random Active Path Model
  • 14.2 Mean-Field Training Algorithms
  • 14.3 Spike and Slab Model
Chapter 15:  Mean-Field Theory of Dimension Reduction in Neural Networks
  • 15.1 Mean-Field Model
  • 15.2 Linear Dimensionality and Correlation Strength
  • 15.3 Dimension Reduction with Correlated Synapses
Chapter 16:  Chaos Theory of Random Recurrent Neural Networks
  • 16.1 Spiking and Rate Models
  • 16.2 Dynamical Mean-Field Theory
  • 16.3 Lyapunov Exponent and Chaos
  • 16.4 Excitation-Inhibition Balance Theory
  • 16.5 Training Recurrent Neural Networks
Chapter 17:  Statistical Mechanics of Random Matrices
  • 17.1 Spectral Density
  • 17.2 Replica Method and Semi-circle Law
  • 17.3 Cavity Approach and Marchenko
  • 17.4 Spectral Densities of Random Asymmetric Matrices
Chapter 18:  Perspectives


报名加入课程

欢迎对统计力学的基本原理感兴趣的你，加入【神经网络的统计力学】课程！
课程价格 499元

扫码付费报名课程

第一步：扫码付费
第二步：在课程详情页面，填写“学员信息登记表”
第三步：扫码添加助教微信，入群
本课程可开发票。

课程负责人黄海平的评论文章：统计物理、无序系统和神经网络
点击了解系列课程详情：黄海平：神经网络的统计力学课程 | 50人免费名额

往期回顾：
黄海平：神经网络的统计力学系列课程上学期结课总结
第13-15讲：复本对称与破缺
第16-17讲：受限制玻尔兹曼机的统计力学
第18讲：无监督学习的最简模型：序如何从学习数据自发涌现
第19-20讲：无监督学习的内禀对称性破缺
第21讲：监督学习的统计物理“标准模型”：算法、存储、分类与几何
第22讲：监督学习的最优贝叶斯框架：算法与相变


AI+Science 读书会启动


AI+Science 是近年兴起的将人工智能和科学相结合的一种趋势。一方面是 AI for Science，机器学习和其他 AI 技术可以用来解决科学研究中的问题，从预测天气和蛋白质结构，到模拟星系碰撞、设计优化核聚变反应堆，甚至像科学家一样进行科学发现，被称为科学发现的“第五范式”。另一方面是 Science for AI，科学尤其是物理学中的规律和思想启发机器学习理论，为人工智能的发展提供全新的视角和方法。

集智俱乐部联合斯坦福大学计算机科学系博士后研究员吴泰霖（Jure Leskovec 教授指导）、哈佛量子计划研究员扈鸿业、麻省理工学院物理系博士生刘子鸣（Max Tegmark 教授指导），共同发起以“AI+Science”为主题的读书会，探讨该领域的重要问题，共学共研相关文献。读书会从2023年3月26日开始，每周日早上 10:00-12:00 线上举行，持续时间预计10周。欢迎对探索这个激动人心的前沿领域有兴趣的朋友报名参与。


详情请见：
人工智能和科学发现相互赋能的新范式：AI+Science 读书会启动


点击“阅读原文”，报名课程