关键词:深度学习,快慢变量,尺度分离,热力学



论文题目:Separation of scales and a thermodynamic description of feature learning in some CNNs
论文来源:Nature Communications
论文链接:https://www.nature.com/articles/s41467-023-36361-y


深度神经网络(DNN)是压缩和提取信息的强大工具。它们的规模和复杂性通常涉及数十亿个相互依赖的参数,这使得直接的微观分析变得困难。在这种情况下,一个常见的策略是识别慢变量,平均快速微观变量的不稳定行为。

近日发表于 Nature Communications 的这项研究发现了在完全训练的有限过参数化深度卷积神经网络(CNN)和完全连接网络(FCN)中发生的类似的尺度分离。具体地说,研究展示了DNN层仅通过其激活和预激活的第二个累积量(内核)耦合。而且,后者以接近高斯的方式波动。对于无限宽度的DNN,这些内核是惰性的,而对于有限宽度的DNN,它们适应数据并产生易处理的数据识别高斯过程。由此产生的深度学习热力学理论可以在各种情况下做出准确预测。此外,它还提供了分析和理解一般DNN的新方法。

图1:特征学习状态与高斯过程无限极限。

图2:理论与实验。


复杂科学最新论文


集智斑图顶刊论文速递栏目上线以来,持续收录来自Nature、Science等顶刊的最新论文,追踪复杂系统、网络科学、计算社会科学等领域的前沿进展。现在正式推出订阅功能,每周通过微信服务号「我的集智」推送论文信息。扫描下方二维码即可一键订阅:




推荐阅读



点击“阅读原文”,追踪复杂科学顶刊论文