神经进化与梯度下降法的对应关系 | 复杂性科学顶刊精选7篇
集智斑图顶刊论文速递栏目上线以来,持续收录来自Nature、Science等顶刊的最新论文,追踪复杂系统、网络科学、计算社会科学等领域的前沿进展。现在正式推出订阅功能,每周通过微信服务号「集智斑图」推送论文信息。
扫描下方二维码,关注“集智斑图”服务号,即可订阅Complexity Express:
Complexity Express 一周论文精选
7、压缩二氧化硅玻璃中的渗流相变
1. 神经进化与梯度下降法的对应关系
期刊来源:Nature Communications
论文标题:
Correspondence between neuroevolution and gradient descent
论文地址:
https://www.nature.com/articles/s41467-021-26568-2
广义而言,根据是否明确评估神经网络损失函数的梯度,可将训练神经网络的方法分为两类。其中基于梯度的训练方法包括反向传播算法,基于非梯度的训练方法(也被称为“黑箱”方法)包括蒙特卡洛算法、遗传算法和随机过程(以一定的概率对神经网络进行改变)。两类方法在执行上的战略完全不同,但都广泛应用于各类神经网络的训练,并且表现均较好。
11月2日发表于Nature Communications 的文章展示了两类方法之间的基本联系。研究解析地证明了条件随机突变和梯度下降法间神经网络动力学的等价性。这种联系源于粒子在外电位(external potential)中过阻尼朗之万动力学和蒙特卡洛动力学之间的联系。在蒙特卡洛的小增量步之内,两者的动力学是等价的。与此类似,我们在这里展示了在小突变范围内,参数以概率突变的神经网络(即神经进化)等价于在高斯白噪声存在下损失函数的梯度下降法。
该研究所证明的神经进化与梯度下降法的联系说明,未使用梯度方法的优化也可以达到在损失函数上使用噪声梯度下降法的效果,建立了机器学习和统计机制间的联系。
2. 两种可证明一致的
大型网络分治聚类算法
期刊来源:PNAS
论文标题:
Two provably consistent divide-and-conquer clustering algorithms for large networks
论文地址:
https://www.pnas.org/content/118/44/e2100482118
社团检测(community detection),也称为社团提取或网络聚类,是网络科学的一个中心问题。从寻找基因网络中的蛋白质复合体,到研究社会环境对青少年行为模式的影响,这一系列真实世界的问题都依赖于网络的社团检测算法。尽管当前已存在正则谱聚类(regularized spectral clustering)、半定规划(semidefinite programs)、基于模块的算法、基于似然性的算法等多种社团检测算法,但真实世界的网络数据都是海量的,以上方法计算成本较高且可扩展性低,需要开发一种既能保证精度及低计算成本,又具备可扩展性的社群检测算法。
11月2日发表于PNAS的文章提出了分段平均社团估计(Piecewise Averaged Community Estimation,PACE)与局部估计的全局协调 (Global Alignment of Local Estimates,GALE)这两种用于大规模网络聚类的分治算法。这两种算法都是先在多个小型子图上应用一个基本算法,然后将各个局部聚类整合为全局聚类。实验结果表明,该方法可以将计算量较大的基本聚类算法扩展到大规模网络中,在不损失精确度(有时会提高准确度)的前提下,大大降低了计算成本。
3. 多细胞生命系统的构型指纹
期刊来源:PNAS
论文标题:
Configurational fingerprints of multicellular living systems
论文地址:
https://www.pnas.org/content/118/44/e2109168118
有机体随着生长,形态也会发生变化。在初始阶段,胚胎呈现出几乎类似流体的状态,允许其细胞分裂和扩张。随着有机体的成熟,组织和器官会形成类似固体的状态。在某些物种中,生物体的这种物理状态可以作为其发育阶段的指标,甚至可以作为其总体健康状况的指标。近几年的研究也表明许多生物过程类似于物质相变,但是目前仍未有描述复杂生命系统空间秩序的统一框架。
11月2日发表于PNAS的文章受有序晶格内以等边三角形重复排序的原子启发,将其作为固相结构的参考。并使用软件解码组织细胞的三角形连接,测量体积序参量(即三角形内部的空间,表示材料的密度波动)与剪切序参量(三角形的性质与等边三角形的差距,表示材料的变形可能)这两个关键参数,以此表征组织更像固体、液体还是气体。
研究小组希望这种被称为“构型指纹”的方法能够帮助科学家追踪胚胎发育过程中的物理变化。更直接的是,研究者正在拓展将该方法应用于一种特殊组织:肿瘤。研究者希望能够通过将肿瘤细胞的图像与细胞指纹进行对比,快速确定肿瘤的生长阶段,并确定癌症的发展进程。
4. 兴奋细胞网络中的克隆优势
期刊来源:Nature physics
论文标题:
Clonal dominance in excitable cell networks
论文地址:
https://www.nature.com/articles/s41567-021-01383-0
在集体生长过程中,当一个或几个创始细胞的后代(克隆体)对最终结构的贡献不成比例时,就产生了克隆优势(Clonal dominance)。在细菌生长、肿瘤发生和干细胞重编程等环境中,这种现象通常被认为是由先天存在的优势倾向导致,而在干细胞的内环境稳态中,引发的是中性漂变(neutral drift,对生物个体的生殖与生存既没有好处也没有坏处的突变)动力学,克隆体随机扩张或收缩,最终可能留存下来也可能消失。克隆优势在发育过程中广泛出现,但尚不清楚其机制性起源。
11月1日发表于 Nature Physics 的文章通过实验和理论,建立了黑腹果蝇上皮细胞谱系树的联合生长动力学,表明在没有先天存在的优势倾向时,克隆优势仍能通过耦合分裂细胞,作为演化兴奋网络(evolving excitable network)的集体性质自发涌现,并且这种现象可以在空间分布的兴奋动力系统(spatially distributed exciteable dynamical system)的框架内解释。类似的机制也出现在森林火灾和意见网络中。
该研究表明,兴奋单位的空间耦合解释了生物体发展的一个关键特征,对生命组织的结构和动力学有重要影响。
5. 协议约束下的
功、熵产生和信息热力学
期刊来源:Physical Review X
论文标题:
Work, Entropy Production, and Thermodynamics of Information under Protocol Constraints
论文地址:https://journals.aps.org/prx/abstract/10.1103/PhysRevX.11.041024
热力学的一个基本问题,是确定系统在两种热力学状态之间转换所需的功。统计物理学的最新研究成果已经推导出该值的一般界限,并且该界限也适用于非平衡态之间的转换。根据热力学第二定律(系统及其热库的总熵增非负)可知,要将一个初始分布为 p 及能量函数为 E 的系统转化为最终分布为 p′及能量函数为 E′,所提取的功 W 及产生的熵 EP(entropy production,系统及其热库所增加的熵)分别满足不等式(1)和(2)
其中,不等式(1)中 FE(p) 是给定能量函数 E 下分布 p 的(非平衡)自由能,不等式(2)可由不等式(1)导出。然而,热力学第二定律给出的界限需要在理想的规定下(能量函数任意,时间尺度无限)操作系统,而现实世界对系统的操作有强烈的约束,因此会导致操作过程所提取的功及产生的熵不符合不等式(1)和(2)。
11月3日发表于 Physical Review Letters 的文章得出了在给定操作过程主方程组的约束时,将初始分布为 p 的系统转化为最终分布为 p ′ 时所提取的功 W 及产生的熵 EP,将热力学第二定律的界限进一步加强。
该工作可以对现实世界各种热力学过程及功提取(work-harvesting) 设备提供新的视角,并且为统计物理学中一些经过充分研究的情景提供新的线索。
6. 模拟温室气候中的阵发性暴雨
期刊来源:Nature
论文标题:
Episodic deluges in simulated hothouse climates
论文地址:
https://www.nature.com/articles/s41586-021-03919-z
在遥远的过去及未来,持续的温室效应极有可能使地球的温度比当前高20到30摄氏度,但是我们对于这种状态下大气的运作原理所知甚少。温室气候的成因是,对流层辐射被水蒸气吸收或被云层阻挡,导致红外大气窗口( 指大气对地面热辐射吸收相对较少的红外光谱区域,它维持了太阳辐射吸收与逸出太空的红外辐射之间的平衡 )的关闭,使得低对流层辐射对大气的降温效果变为加热。研究表明,这可能导致温度倒置和云层覆盖的剧变,但目前没有模型能够刻画对流尺度的湍流运动和云层覆盖,许多温室辐射的问题也因此尚未得到解答。
11月3日发表于 Nature 的文章明确解决了对流的模拟,发现温室气候条件下,低对流层辐射加热导致水文循环从准稳定状态转变为张弛振荡器(Relaxation oscillator,原指一种产生非正弦重复输出信号的非线性振荡器电路,后引申为各领域中可以用y于非线性振动电路相同的数学模型分析的动力系统,具有时间尺度不同的交替周期)状态。在张弛振荡器状态下,短时高强度降水和长时间干旱交替出现,在转变过程中还伴随着强烈的局部降水、剧增的云量以及瞬态的气候正反馈(不稳定的)参数。
图1. 温室效应增强导致气候系统从准稳定状态转向张弛振荡器状态
图2. 张弛振荡器状态所对应的对流天气概况。
研究结果表明,温室气候可能由一种新形式的时效对流自组织导致,对云层覆盖和侵蚀过程都产生了影响。
7. 压缩二氧化硅玻璃中的渗流相变
期刊来源:Nature
论文标题:
Percolation transitions in compressed SiO2 glasses
论文地址:
https://www.nature.com/articles/s41586-021-03918-0
非晶体结构在压力状态下的相变通常可以用局域结构从低配位多面体(coordinated polyhedra)到高配位多面体的变化来解释。然而,由于在临界阈值的标度不变性(scale invariance)的概念仍未得到解决,所以不能确定该相变行为是否与相关晶体和液体中真正的相变行为类似。
11月3日发表于 Nature 的文章对压缩二氧化硅(SiO2)玻璃进行了完整的计算,以渗流理论( Percolation theory, 描述了网络结构中物体的连通性,以及这种连通性对系统宏观属性的影响 )描述非晶体材料相变的临界性。具体而言,该研究以渗流阈值(Percolatioon threshold,渗流理论中描述随机系统中长程连通性的数学概念)p∞为序参数,表明其非晶体结构从低密度到高密度的相变由一系列渗流相变导致:当压力增加到82 GPa (临界压力)时,一系列由共享顶点或边的四面体、五面体及八面体组成的长距离(“无限”)渗流团簇涌现,并取代原先的低配位多面体和低连通性的“相”。这一机制非晶体结构在 3GPa 左右的力学异常以及超过10 GPa 的结构不可逆性等特征提供了一个自然的解释。
该研究表明,渗流理论为理解非晶体相变的本质和途径提供了一个鲁棒的框架,并为预测未知的非晶固态相和相关的液相开辟了一条新的途径。
集智新栏目 Complexity Express
上线啦!
Complex World, Simple Rules. 复杂世界,简单规则。
Complexity Express 是什么?
Complexity Express 为谁服务?
-
如果你是复杂系统领域的研究者,可获得重要论文上线通知,每周获取最新顶刊论文汇总。
-
如果你是复杂系统领域的学习者,可了解学界关注的前沿问题,把握专业发展脉络。
-
如果你是传统的生命科学、社会科学等学科中的研究者/学习者,可以从复杂性科学和跨学科研究中获得灵感启发。
-
如果你是关注前沿研究发现的知识猎手,可获得复杂系统研究对自然和人类世界的最新洞见。
Complexity Express 论文从哪里来?
-
Nature
-
Science
-
PNAS
-
Nature Communications
-
Science Advances
-
Physics Reports
-
Physics Review Letters
-
Physics Review X
-
Nature Physics
-
Nature Human Behaviour
-
Nature Machine Intelligence
-
更多期刊持续增补中,欢迎推荐你认为重要的期刊!
Complexity Express 追踪哪些领域?
-
网络科学各个分支及交叉应用
-
图数据与图神经网络
-
计算机建模与仿真
-
统计物理与复杂系统理论
-
生态系统、进化、生物物理等
-
系统生物学与合成生物学
-
计算神经科学与认知神经科学
-
计算社会科学与社会经济复杂系统
-
城市科学
-
科学学
-
计算流行病学
-
以及一些领域小众,但有趣的工作
更多论文
点击“阅读原文”,追踪复杂科学顶刊论文