导语


统计物理方法是一座架起微观作用到宏观涌现的桥梁,2021年诺贝尔物理学奖得主帕里西在无序系统方面作出开创之举,他提出复本对称破缺方法解决自旋玻璃问题,这一方法也对神经网络等交叉学科产生深厚影响,激发学者对人工智能和人脑等复杂系统的进一步研究。由中山大学黄海平教授组织的神经网络的统计力学】系列课程,系统性梳理统计力学的基本原理及其在理解神经网络内部工作原理的应用,自2022年9月持续到2023年6月,周六授课。课程视频将在集智学园网站同步,购课回看录播请扫二维码或下拉至文末报名。


12月3日(周六)14:00-16:00 将进行系列课程的第九讲,关于 Hopfield 模型第二次课程。Hopfield 模型可以建模联想记忆过程,因此对计算神经科学,乃至于现代机器学习都有很重要的意义。本节课我们继续学习 Hopfield 模型的解析计算,接着上节课的内容将讲解鞍点分析,以及 Hopfield 模型的相图,并结合 21 年的最新工作对拓展的 Hopfield 模型进行介绍。本节课程会在集智学园视频号和B站直播,预约及付费报名方式见下文。





课程简介




本节课程是系列课程的第 9 节,关于 Hopfield 模型第二次课程。Hopfield 模型可以建模联想记忆过程,因此对计算神经科学,乃至于现代机器学习都有很重要的意义。本节课我们继续学习 Hopfield 模型的解析计算,接着上节课的内容将讲解鞍点分析,以及 Hopfield 模型的相图,并结合 21 年的最新工作对拓展的 Hopfield 模型进行介绍。

本主题对应SMNN书籍的第八章,具体为:

Chapter 8:  Statistical Mechanical Theory of Hopfield Model

  • 8.1 Hopfield Model

  • 8.2 Replica Method

  • 8.3 Phase Diagram

  • 8.4 Hopfield Model with Arbitrary Hebbian Length

说明:SMNN书籍第六、七章将延后讲解。

黄海平研究组 21 年相关的最新工作
1. Jiang, Z., Zhou, J., Hou, T., Wong, K. M., & Huang, H. (2021). Associative memory model with arbitrary Hebbian length. Physical Review E, 104(6), 064306. https://journals.aps.org/pre/abstract/10.1103/PhysRevE.104.064306

2. Zhou, J., Jiang, Z., Hou, T., Chen, Z., Wong, K. M., & Huang, H. (2021). Eigenvalue spectrum of neural networks with arbitrary Hebbian length. Physical Review E, 104(6), 064307. https://journals.aps.org/pre/abstract/10.1103/PhysRevE.104.064307





    本节课程大纲




    1. 复本计算的鞍点分析

    1. 从鞍点方程中发现相变

    1. Hopfield模型的相变

    1. 带有任意Hebbian长度的Hopfield模型

    1. 文献拓展部分

    关键词:Hopfield模型,相变,鞍点方程





    负责人介绍




    黄海平,中山大学物理学院教授。本科毕业于中山大学理工学院,博士毕业于中国科学院理论物理研究所,随后在香港科技大学物理系、东京工业大学计算智能系  (2012年获日本学术振兴会资助) 以及日本理化学研究所 (RIKEN) 脑科学中心从事统计物理与机器学习、  神经计算交叉的基础理论研究,2017年因在无监督学习方面的研究获得 RIKEN  杰出研究奖。于2018年入选中山大学百人计划,在物理学院组建了“物理、机器与智能”  (PMI)研究小组,专注于各种神经计算的理论基础,长期目标是使用基于物理的近似来揭示机器及大脑智能的基本原理。曾主持国家自然科学基金青年基金、优秀青年基金等国家级项目。

    PMI Lab:https://www.labxing.com/hphuang2018




    直播信息



    直播时间:
    2022年11月26日(周六)下午14:00-16:00

    参与方式一:视频号预约直播

    • 集智学园视频号预约

    • 集智学园 B 站免费直播,房间号https://live.bilibili.com/6782735

    参与方式二:付费加入课程,查看课程回放

    付费后,可参与集智学园平台直播并加入交流群获得视频回放权限。欢迎对统计力学的基本原理感兴趣的你,加入【神经网络的统计力学】课程!

    课程定价:499元

    课程时间:从2022年9月17日起,每周六 14:00-16:00(节假日除外)

    扫码付费报名课程
    https://campus.swarma.org/course/4543

    付费流程:

    第一步:扫码付费

    第二步:在课程详情页面,填写“学员信息登记表”

    第三步:扫码添加助教微信,入群

    本课程可开发票。


    神经网络的统计力学

    每周更新,持续报名中


    系列课程大纲

    课程主要目的是培养一批有望在神经网络理论深耕的青年学者(侧重学生),课程涉及黄海平老师最新出版的书籍《Statistical Mechanics of Neural Networks》的大部分内容,目标是学习统计力学的基本原理及其在理解神经网络内部工作原理的应用。书籍涵盖了用于理解神经网络原理的必要统计力学知识,包括复本方法、空腔方法、平均场近似、变分法、随机能量模型、Nishimori条件、动力学平均场理论、对称性破缺、随机矩阵理论等,同时详细描述了监督学习、无监督学习、联想记忆网络、感知器网络、随机循环网络等神经网络及其功能的物理模型以及解析理论。本书通过简洁的模型展示了神经网络原理的数学美和物理深度,并介绍了相关历史和展望未来研究的重要课题,可供对神经网络原理感兴趣的学生、研究人员以及工程师阅读参考。


    书籍目录(详版):
    Chapter 1:  Introduction
    Chapter 2:  Spin Glass Models and Cavity Method
    • 2.1 Multi-spin Interaction Models
    • 2.2 Cavity Method
    • 2.3 From Cavity Method to Message Passing Algorithms
    Chapter 3:  Variational Mean-Field Theory and Belief Propagation
    • 3.1 Variational Method
    • 3.2 Variational Free Energy
    • 3.3 Mean-Field Inverse Ising Problem
    Chapter 4:  Monte Carlo Simulation Methods
    • 4.1 Monte Carlo Method
    • 4.2 Importance Sampling
    • 4.3 Markov Chain Sampling
    • 4.4 Monte Carlo Simulations in Statistical Physics
    Chapter 5:  High-Temperature Expansion
    • 5.1 Statistical Physics Setting
    • 5.2 High-Temperature Expansion
    • 5.3 Properties of the TAP Equation
    Chapter 6:  Nishimori Line
    • 6.1 Model Setting
    • 6.2 Exact Result for Internal Energy
    • 6.3 Proof of No RSB Effects on the Nishimori Line
    Chapter 7:  Random Energy Model
    • 7.1 Model Setting
    • 7.2 Phase Diagram
    Chapter 8:  Statistical Mechanical Theory of Hopfifield Model
    • 8.1 Hopfifield Model
    • 8.2 Replica Method
    • 8.3 Phase Diagram
    • 8.4 Hopfifield Model with Arbitrary Hebbian Length
    Chapter 9:  Replica Symmetry and Replica Symmetry Breaking
    • 9.1 Generalized Free Energy and Complexity of States
    • 9.2 Applications to Constraint Satisfaction Problems
    • 9.3 More Steps of Replica Symmetry Breaking
    Chapter 10:  Statistical Mechanics of Restricted Boltzmann Machine
    • 10.1 Boltzmann Machine
    • 10.2 Restricted Boltzmann Machine
    • 10.3 Free Energy Calculation
    • 10.4 Thermodynamic Quantities Related to Learning
    • 10.5 Stability Analysis
    • 10.6 Variational Mean-Field Theory for Training Binary RBMs
    Chapter 11:  Simplest Model of Unsupervised Learning with Binary
    • 11.1 Model Setting
    • 11.2 Derivation of sMP and AMP Equations
    • 11.3 Replica Computation
    • 11.4 Phase Transitions
    • 11.5 Measuring the Temperature of Dataset
    Chapter 12:  Inherent-Symmetry Breaking in Unsupervised Learning
    • 12.1 Model Setting
    • 12.2 Phase Diagram
    • 12.3 Hyper-Parameters Inference
    Chapter 13:  Mean-Field Theory of Ising Perceptron
    • 13.1 Ising Perceptron model
    • 13.2 Message-Passing-Based Learning
    • 13.3 Replica Analysis
    Chapter 14:  Mean-Field Model of Multi-layered Perceptron
    • 14.1 Random Active Path Model
    • 14.2 Mean-Field Training Algorithms
    • 14.3 Spike and Slab Model
    Chapter 15:  Mean-Field Theory of Dimension Reduction in Neural Networks
    • 15.1 Mean-Field Model
    • 15.2 Linear Dimensionality and Correlation Strength
    • 15.3 Dimension Reduction with Correlated Synapses
    Chapter 16:  Chaos Theory of Random Recurrent Neural Networks
    • 16.1 Spiking and Rate Models
    • 16.2 Dynamical Mean-Field Theory
    • 16.3 Lyapunov Exponent and Chaos
    • 16.4 Excitation-Inhibition Balance Theory
    • 16.5 Training Recurrent Neural Networks
    Chapter 17:  Statistical Mechanics of Random Matrices
    • 17.1 Spectral Density
    • 17.2 Replica Method and Semi-circle Law
    • 17.3 Cavity Approach and Marchenko
    • 17.4 Spectral Densities of Random Asymmetric Matrices
    Chapter 18:  Perspectives


    报名加入课程

    欢迎对统计力学的基本原理感兴趣的你,加入【神经网络的统计力学】课程!

    课程价格:499元

    扫码付费报名课程

    第一步:扫码付费

    第二步:在课程详情页面,填写“学员信息登记表”

    第三步:扫码添加助教微信,入群

    本课程可开发票。

    课程负责人黄海平的评论文章:
    统计物理、无序系统和神经网络
    点击了解系列课程详情:
    黄海平:神经网络的统计力学课程 | 50人免费名额

    往期回顾:


    点击“阅读原文”,报名课程