神经网络理论研究的物理学思想

导语
数学的具象化为物理,而物理的尽头则为数学,数学与物理相辅相成,成为理解神经网络乃至智能本质不可或缺的手段。在人工智能正在重塑人类社会方方面面的同时,我们有必要去了解物理学的思想如何影响人们对神经网络乃至自我的认知。
黄海平(中山大学物理学院) | 作者
1. 从伊辛模型谈起
1. 从伊辛模型谈起


2. 感知机学习的几何景观
2. 感知机学习的几何景观

3. 无师自通与对称性破缺
3. 无师自通与对称性破缺


和
对称性,因为我们的连接权重取为Ising 自旋值。那么,一个有趣的物理问题就产生了:学习的过程是对称性破缺的过程吗?
对称性相关的第一个连续性相变发生,学生开始推断老师连接权重相同的那部分 (即ξ 1i = ξ 2i ),这种类型的转变被称为自发对称破缺,就像在标准伊辛模型中遇到的铁磁相变那样。随着数据量进一步增加,学生开始推断老师连接权重不同的那部分 (即ξ 1i = –ξ 2i),这被称为第一种置换(
)对称破缺,即学生开始意识到它的两个感受野( ξ1,ξ 2 )也是不同的。不妨总结为“先求同,后存异”。随着数据量进一步增加,学生开始能够区分老师 (或基本规律) 体系结构中两个隐藏节点的内在顺序。我们将这个转变称为
对称性破缺的第二个亚型。仅在此转变之后,自由能才有两个同等重要的谷底。但学生只推断其中一种可能性,并取决于初始条件。这两个谷底对应于基本规律的两种可能顺序(x, y)或(y,x),这也是原始无监督学习概率分布的内在置换对称性。因此,通过统计物理分析,我们得出:数据可以自发驱动层级式的连续相变直至数据中的客观规律被机器所捕获,并且也揭示了先验的作用:极大减少自发对称破缺的最小数据量,并且融合了两个亚型,即在先验的帮助下,学生认识自我和客观是同时发生的;然而在没有先验情况下,认识自我则先于客观。
4. 非平衡稳态动力学的伪势表示法
4. 非平衡稳态动力学的伪势表示法
图4 非线性动力学的伪势法
5. 大语言模型示例泛化的奥妙
5. 大语言模型示例泛化的奥妙



为神经网络给出的答案,上述物理模型的基态意味着
和W21=0,D 是数据的维度。分块矩阵W与自旋耦合J 一一对应。因此我们就明白了,只要找到该基态,示例泛化即可达成,并无需再微调参数!这个模型还揭示了任务向量的多样性对预训练效果起到至关重要的作用。因此,也就不难理解大语言模型需要海量多模态的文本库了。我们可以大胆地想象,只要穷尽承载人类文明的所有知识,也许有一天我们真能制造出无所不能的智慧机器,至少在人类已掌握技能的疆域内是没有问题的。
6. 总结和展望
6. 总结和展望
参考文献(一)
① 神经网络的源头可追溯至麦可洛和皮茨在1943年发表的关于逻辑演算的研究。
② 戴森应邀为美国数学会的爱因斯坦讲座所准备,题目为鸟与青蛙。
③ 大模型的压缩并不意味着“理解”。
④ 对受限玻尔兹曼机训练算法的研究是2024年诺贝尔物理学奖得主辛顿的重要贡献之一。
参考文献(二)
参考文献可上下滑动查看
寇享回放链接:https://m.koushare.com/live/details/37920 本文选自《现代物理知识》2024年6期,YWA编辑
神经网络的统计力学课程
统计物理方法是一座架起微观作用到宏观涌现的桥梁,2021年诺贝尔物理学奖得主帕里西在无序系统方面作出开创之举,他提出复本对称破缺方法解决自旋玻璃问题,这一方法也对神经网络等交叉学科产生深厚影响,激发未来对人工智能和人脑等复杂系统的进一步研究。中山大学物理学院教授黄海平老师的这一系列课程系统介绍自旋玻璃、空腔方法、消息传递算法等主题内容,搭建从统计物理到神经网络的桥梁,帮助大家更好理解神经网络的基本原理。参看:黄海平:神经网络的统计力学系列课程
非平衡统计物理读书会启动!
2024年诺贝尔物理学奖授予人工神经网络,这是一场统计物理引发的机器学习革命。统计物理学不仅能解释热学现象,还能帮助我们理解从微观粒子到宏观宇宙的各个层级如何联系起来,复杂现象如何涌现。它通过研究大量粒子的集体行为,成功地将微观世界的随机性与宏观世界的确定性联系起来,为我们理解自然界提供了强大的工具,也为机器学习和人工智能领域的发展提供了重要推动力。
为了深入探索统计物理前沿进展,集智俱乐部联合西湖大学理学院及交叉科学中心讲席教授汤雷翰、纽约州立大学石溪分校化学和物理学系教授汪劲、德累斯顿系统生物学中心博士后研究员梁师翎、香港浸会大学物理系助理教授唐乾元,以及多位国内外知名学者共同发起「非平衡统计物理」读书会。读书会旨在探讨统计物理学的最新理论突破,统计物理在复杂系统和生命科学中的应用,以及与机器学习等前沿领域的交叉研究。读书会从12月12日开始,每周四晚20:00-22:00进行,持续时间预计12周。我们诚挚邀请各位朋友参与讨论交流,一起探索爱因斯坦眼中的普适理论!
详情请见:从热力学、生命到人工智能的统计物理之路:非平衡统计物理读书会启动!
推荐阅读
6. 加入集智,一起复杂!
点击“阅读原文”,报名课程





