关键词:复杂系统,可逆神经网络,复杂层级结构



论文题目:
Learning Interacting Theories from Data
论文来源:Physical Review X
论文地址:https://journals.aps.org/prx/abstract/10.1103/PhysRevX.13.041033


物理学面临的一个挑战,是解释微观相互作用如何产生集体性质。事实上,相互作用构成了几乎所有物理理论的基石,并由作用量中的多项式项描述。传统方法是从基本过程中推导出这些项,然后使用得到的模型对整个系统进行预测。但是,如果底层过程未知呢?我们能否能使用反向方法,通过观察整个系统来学习微观作用?

这项工作中将方法颠倒过来,从解释整体的黑箱模型开始,将其分解为几个部分之间的简单交互。例如,数字“3”的一组图像可以通过描述像素的二元、三元、四元组之间如何相互作用的一组规则来描述。这种方法的关键是使用生成式神经网络,将复杂的数据分布映射到简单的数据分布。通过将这种映射分解为更简单特征之间的交互,可以更好地理解模型如何以及为什么可以进行预测。

具体而言,研究使用可逆神经网络,首先学习观察到的数据分布。通过选择适当的非线性神经元激活函数,能够从训练模型的权重计算出作用量;图解语言表达了从层到层的作用量变化。这个过程揭示了网络如何通过成对关系的非线性变换分层构建相互作用。研究者在相互作用理论的模拟数据集和已建立的图像数据集(MNIST)上测试了这种方法。网络始终能够重现广泛的单峰分布类;在这个类之外,它发现有效的理论可以近似数据统计量,直到第三阶累积量。研究明确地展示了网络深度和数据数量如何共同提高学习的和真实模型之间的一致性。

这项研究揭示了神经网络学习的复杂层级结构,并以自由度之间的相互作用这一物理学方式进行解释。从医学诊断到人脸识别,随着人工智能的应用越来越多地影响人类生活,理解神经网络行为变得越来越重要。

图1. 从数据中学习作用量(action)。观察一个相互作用自由度(灰色点)的物理系统,其精确的相互作用未知(阴影区域)。研究基于系统的测量训练神经网络。网络以无监督的方式学习训练数据的分布估计。这里使用图解语言逐层从网络参数中提取作用。最终的作用量系数表示学习到的相互作用(粉色节点)。


图2. MNIST数据集上关于数字“3”的相互作用推理。




编译|梁金

AI+Science 读书会



详情请见:
人工智能和科学发现相互赋能的新范式:AI+Science 读书会启动


推荐阅读

1. 机器学习可重复性危机下,创建复杂数据系统的挑战
2. Nat. Commun. 速递:面向多模态生物数据分析的可解释多任务学习
3. Nat. Mach. Intell.速递:基于深度学习的高维数据因果结构学习
4. 张江:第三代人工智能技术基础——从可微分编程到因果推理 | 集智学园全新课程
5加入集智学园VIP,一次性获取集智平台所有内容资源
6. 加入集智,一起复杂!


点击“阅读原文”,报名读书会