Nature人类行为:如何优化网络结构,最大程度发挥神经网络的认知潜力?-集智俱乐部

来自人体连接组计划(Human Connectome Project),由Laboratory of Neural Imaging和Martinos Center for Biomedical Imaging提供技术支持。

导言

人工神经网络的设计仿照了生物神经网络,虽然具备学习能力,但内部结构仍不明确。近期发表在Nature Human Behaviour上的一项研究中,研究者通过对比实验,发现大脑神经网络的一些特征(模块性、连接性)也出现在了人工的深度神经网络中,并且具有相似的调节方式。

提要

  1. 作者模拟人脑构建了一个深度神经网络模型;

  2. 在实验(一)中,对比人脑连接组计划搜集的认知和行为数据,该模型准确预测了476位实验参与者的任务表现和行为特征;

  3. 在实验(二)中研究了连接枢纽的作用:协调社团间和社团内枢纽的连接性,促进信息整合,增强总体模块性,进而提高认知表现;

  4. 因此,最优网络结构特征为:连接枢纽广泛分布,模块化程度高

人脑神经元的网络结构

在揭晓实验内容之前,我们先要了解文中涉及的概念,从模块性和连接性两方面衡量人脑神经元的网络结构。

模块结构广泛存在

现代神经科学之父拉蒙·卡哈尔曾指出神经元拓展分支的原则,就是用尽可能少的连接来到达网络中的其他细胞。减少细胞间连边会节约空间,以容纳更多神经元,从而提高大脑的信息处理能力。自然选择使得神经元网络的连边成本趋于最低。近年来的多项实验证实了这一点。

模块性(modularity),意味着相对独立的结构和功能,连接的平均长度和数量较小,连接成本随之缩减。模块性受节点数,连接数,节点间连接的可能性和权重等因素影响。

网络模拟显示,模块结构支持着网络的稳健演化,重新配置节点间的连接,无需牺牲信息加工的效率。人工智能领域的研究也表明,与非模块化网络相比,模块化网络的连接成本较低,任务效率更高,进化速度更快。

因此,模块结构在自然界中广泛存在。脑的主要结构特征就是模块性,从大象到人类,皆是如此,以降低新陈代谢。基因图谱也是模块化结构,机体因此能够快速演化、适应环境。

人脑连接性的测量

人脑由节点紧密连接的许多社团组成。作者采用信息地图社团检测算法(infomap community detection algorithm)和力-图(force-atlas algorithm)算法发现社团和枢纽,同一社团的节点颜色相同(详见表1)

通过调整社团内和社团间的连接强度,可以优化人脑的模块化网络结构,增强认知能力。

表1:局域性和多样性。

连接性

局域性

(locality)

多样性

(diversity)

测量

系数

社团内连接强度(within community strength)

参与系数

(participation coefficient)

测量

内容

节点连边在一社团内的相对强度

节点连边在所有社团的均匀程度

枢纽

局域枢纽

(local hubs)

连接枢纽

(connector hubs)

定义

社团内局域性最强的节点

社团间多样性最强的节点

图示

图1f中的紫点

图1e中的红点

连边

分布

主要在一社团内

均匀分布在各社团

功能

专门的信息加工

综合的信息加工

影响

范围

特定的认知功能,局部网络的模块性

普遍的认知功能,整体网络的模块性

活动

水平

不受认知任务涉及的社团数影响

随认知任务涉及的社团数提高

Nature人类行为:如何优化网络结构,最大程度发挥神经网络的认知潜力?-集智俱乐部

图1:模块网络中的社团和节点

实验设计

深度神经网络模型

作者设计了一个深度神经网络模型,来表征输入特征(输入)和认知表现(输出)的非线性关系。与逻辑递归不同的是,深度神经网络模型的输入和输出层中间有多个隐藏层(hidden layers),每层有8个神经元,每个神经元控制一个特征,包括节点的局域性和多样性、网络连接性和模块性,通过调整相邻层次的神经元间连接的权重,优化参与者在任务中的认知表现(图2)

Nature人类行为:如何优化网络结构,最大程度发挥神经网络的认知潜力?-集智俱乐部

图2:深层神经网络的特征和建模。节点包括输入节点(浅红),隐藏层节点(黑色),输出节点(白色)。节点间连接分为负相关(蓝色),正相关(红色)。

数据搜集和分析方法

同时,为了与人工神经网络对比,作者们还通过网络重构的方法探测了人脑的相应结构。作者使用功能磁共振成像(Functional magnetic resonance imaging,缩写fMRI)研究总体和局部的人脑连接性模式。图3a通过血液中的氧气浓度推测264个节点(即脑区)的神经活动。图3b展现了其中3个节点的时间序列,可以看出,中(蓝)(紫)两折线的形状相似,因此蓝紫两节点间的功能连接性较强(连边权重 = 0.90),在图3c中用加粗实线表示。

实验采用Pearson相关系数r和Bonferroni校正测量预测表现和实际表现的相关度。

Nature人类行为:如何优化网络结构,最大程度发挥神经网络的认知潜力?-集智俱乐部

图3:通过fMRI测量脑区的功能连接性。

实验(一):

连接性与模块性共同影响认知和行为

接下来就进入到正式的实验环节。文中共有两个实验,实验(一)讨论了认知任务表现的影响因素:枢纽连接性和网络模块性,实验(二)进一步研究了模块性和任务表现,连接枢纽和模块性的关系。

数据来源:

人脑连接组计划

人脑连接组计划(Human Connectome Project)通过fMRI测量了参与者(N = 476)的7种认知状态。作者选取其中4种认知任务的数据,包括工作记忆、关系任务、语言和数学,以及社会(心灵理论),记作任务表现(task performance measures)

有效预测任务表现

作者发现,通过控制节点的多样性和局域性,结合网络的模块连接性结构,在4个任务中,深度神经网络模型均能有效预测任务表现(经Bonferroni校正,p<.001,见图4)

Nature人类行为:如何优化网络结构,最大程度发挥神经网络的认知潜力?-集智俱乐部

图4:4种认知任务的预测表现和实际表现的相关程度。认知任务包括:工作记忆(左上蓝色),关系(右上绿色),语言和数学(左下粉色),社会(右下红色)。图中,横轴是模型的预测表现,纵轴是任务的实际表现,由于4个任务采用了不同的度量方法,坐标轴的刻度范围各不相同;点代表实际数据,线表现相关系数,阴影部分标明数据的95%置信区间(confidence intervel,缩写为CI)。以工作记忆为例,共有473个有效数据(点),其中95%的点分布在[0.468,0.597],结合拟合斜率表明:模型预测和实际表现强相关(r = 0.536)。

有效预测认知行为

除了通过fMRI测量的任务表现,人脑连接组计划还测量了行为特征(subject measures)。当一特定网络结构在所有任务中的表现得都很好的时候,行为特征同样也会良好(积极的如满意程度和加工速度,消极的如睡眠不佳、沮丧和暴怒)(图5)。由此可得,网络连接性模型能够普遍地预测行为和认知,不需要为特定的认知或行为过度拟合。

Nature人类行为:如何优化网络结构,最大程度发挥神经网络的认知潜力?-集智俱乐部

图5:任务表现和行为的特征相关度。任务表现和行为特征的相关程度越高(越接近+/-0.60),行为特征的文本颜色越深。其中,正相关为红色,负相关为蓝色。

实验(二):

连接枢纽的协调作用促进模块性和认知

了解节点连接性和网络模块性对任务表现的影响,实验(二)进而研究枢纽连接性(多样性和局域性)和网络模块性之间的关系,特别是连接枢纽(多样性)的调节作用。涉及的相关系数见表2。

表2:从多样性和局域性两方面看模块性和任务表现的相关度。

相关系数

多样性

局域性

模块性

多样性促进模块性系数

diversityfacilitated modularity coefficient

局域性促进模块性系数

loaciliy facilitated modularity coefficient

任务表现

多样性促进表现系数

diversity facilitated performance coefficient

局域性促进表现系数

locality facilitated performance coefficient

枢纽连接性

促进模块性和任务表现

由实验(一)可知,连接枢纽的多样性(参与系数)和局域枢纽的局域性(社团内连接强度)越高,任务表现越好,即网络的认知功能越强。作者在实验(二)发现,连接枢纽和局域枢纽对任务表现的促进作用明显高于其他节点。网络的模块性随各节点的多样性(平均参与系数)和局域性(社团内连接强度)增强。因此,连接枢纽和局域枢纽同时促进模块性和任务表现,多样性和局域性提高网络模块性时,对任务表现的促进作用也随之加强(图6e、图6f)

Nature人类行为:如何优化网络结构,最大程度发挥神经网络的认知潜力?-集智俱乐部

图6:连接枢纽和区域枢纽同时促进模块性和任务表现。认知任务包括:工作记忆(蓝色),关系(绿色),语言和数学(粉色),社会(红色)。图中,横轴是连接性(左:多样性;右:局域性)促进表现系数,纵轴是连接性(左:多样性;右:局域性)促进模块性系数。识图方法见图6图注。

连接枢纽的

协调作用提高网络模块性

确立了连接性和模块性的关系,作者进一步发现,连接枢纽通过协调社团间和社团内部的连接性,提高了网络模块性。

首先,作者采用节点到社团的分配,验证了连接枢纽调整社团间的连接性,使感知、运动和注意系统更加分离,提高网络模块性(图7)

Nature人类行为:如何优化网络结构,最大程度发挥神经网络的认知潜力?-集智俱乐部

图7:节点到社团的标准分配在大脑皮层的解剖学定位。

其次,连接枢纽直接协调临近节点(两节点间连接密度为.15)的连接性,使得临近节点与其他社群节点的连边嫁接到连接枢纽上面,提高枢纽的多样性,进而协调其他社群节点,增加各社团内连接,提高枢纽的局域性,使网络结构更加模块化(图8)

Nature人类行为:如何优化网络结构,最大程度发挥神经网络的认知潜力?-集智俱乐部

图8:连接枢纽(红色)协调临近节点(浅红)使得网络结构发生变化。连接枢纽上的数字代表了多样性,即外部连接的均匀程度。

结 论

从实验(一)可知:连接性结合模块性建立的深度神经网络模型能够准确预测认知和行为。从实验(二)发现:模块性和认知强相关,因此增强模块性就能提高认知功能;进一步看连接性,连接枢纽的协调作用能够增强网络模块性。

整个过程如下:连接枢纽协调临近节点,节点的局域性和多样性得到提高,促进局部的信息加工和信息整合,增强网络的模块性,进而促进人脑的认知功能,表现为神经活动活跃,任务表现提高,行为特征健康。

综上,连接枢纽提供的模块化网络结构是多种认知和行为的最优解,因此,即使代谢成本较高,对于复杂的模块化神经网络,强健而分布广泛的连接枢纽依然是不可或缺的。

参考文献

Bertolero, M. A., Yeo, B. T. T., Bassett, D. S., & D’Esposito, M. (2018). A mechanistic model of connector hubs, modularity and cognition. Nature Human Behaviour. doi:10.1038/s41562-018-0420-6

作者:杨清怡

编辑:王怡蔺

推荐阅读

Cell最新 :成功绘制出完整果蝇大脑神经网络!

还原小型大脑:小小虫脑里的复杂神经网络

动物如何学习?线虫神经连接组里有答案!

解读幂律分布无标度网络 | 长文综述

加入集智,一起复杂!

推荐课程

Nature人类行为:如何优化网络结构,最大程度发挥神经网络的认知潜力?-集智俱乐部

PC端观看地址:

https://campus.swarma.org/gcou=10500


Nature人类行为:如何优化网络结构,最大程度发挥神经网络的认知潜力?-集智俱乐部

集智俱乐部QQ群|877391004

商务合作及投稿转载|swarma@swarma.org

搜索公众号:集智俱乐部

加入“没有围墙的研究所”

Nature人类行为:如何优化网络结构,最大程度发挥神经网络的认知潜力?-集智俱乐部

让苹果砸得更猛烈些吧!

原文始发于微信公众号( 集智俱乐部 ):集智