Nat. Commun. 速递：CNN 中的尺度分离与特征学习的热力学描述

关键词：深度学习，快慢变量，尺度分离，热力学

论文题目：Separation of scales and a thermodynamic description of feature learning in some CNNs

论文来源：Nature Communications

论文链接：https://www.nature.com/articles/s41467-023-36361-y

深度神经网络（DNN）是压缩和提取信息的强大工具。它们的规模和复杂性通常涉及数十亿个相互依赖的参数，这使得直接的微观分析变得困难。在这种情况下，一个常见的策略是识别慢变量，平均快速微观变量的不稳定行为。

近日发表于 Nature Communications 的这项研究发现了在完全训练的有限过参数化深度卷积神经网络（CNN）和完全连接网络（FCN）中发生的类似的尺度分离。具体地说，研究展示了DNN层仅通过其激活和预激活的第二个累积量（内核）耦合。而且，后者以接近高斯的方式波动。对于无限宽度的DNN，这些内核是惰性的，而对于有限宽度的DNN，它们适应数据并产生易处理的数据识别高斯过程。由此产生的深度学习热力学理论可以在各种情况下做出准确预测。此外，它还提供了分析和理解一般DNN的新方法。