论文题目：Information decomposition and the informational architecture of the brain

论文地址：https://www.sciencedirect.com/science/article/pii/S136466132300284X

1. 何为大脑中的信息

将大脑视为信息处理系统，并将信息视为理解神经系统的基本货币，一直是认知科学和计算神经科学进步的基石之一。对认知神经科学来讲，其中一个中心目标是阐明神经系统如何进行信息处理（Information processing)，帮助生物体完成各种适应性行为。

在大脑中，神经元通过电信号和神经化学信号相互传递信息；这些信息被逐步修改和组合（例如注意力增强了特定刺激的表征），并且会随着时间的推移而存储（例如突触可塑性导致的记忆）。

图1：信息处理和信息分解示意图

信息处理解决“信息流是什么样的？”这一问题。如图1a所示，信息（此处表示为二进制黑白图案）可以由系统的某些变量存储，即它在 t1 时刻和稍后的 t2 时刻都存在于系统中。信息也可以被传输：如在 t1 时刻出现在一个变量中，然后在 t2 时刻出现在另一个变量中。最后，信息也可以被修改：如来自两个变量的信息可以由第三个变量组合。

信息分解则是解决：“信息如何由多个来源承载？” 有些信息可能完全由一个来源单独携带（这里是每只眼睛视野外围的橡子和香蕉，由绿色和米色三角形表示），这样，如果该来源被破坏，它将不再可用。这称为特有信息。其他信息可以由多个来源中的每一个同等地携带（此处：双眼可以看到位于重叠的蓝色区域中的正方形），因此，只要至少有一个来源存在，这一冗余信息就将保持完全可用。冗余信息是当你闭上任何一只眼睛时仍然拥有的信息：它由两个来源同等地携带。这提供了鲁棒性：尽管失去了周边视力，但即使失去一只眼睛，仍然可以看到前方的事物。信息也可以由多个源来一起承载（图1b关于深度的三维信息，揭示了正方形实际上是一个立方体）。如果任何携带协同信息的来源遭到破坏，这种协同信息就会丢失。信息间的协同可通过组合不同来源而获得额外优势。

上述示例说明，除了了解信息的内容（例如面前的一个立方体）以及源是否属于相同或不同的模态（例如，视觉）之外，还需要考虑信息来源如何提供有问题的信息。事实上，最近的进展表明，信息存储、传输和修改本身可以用跨时间的信息分解来表达，不同类型的信息充当信息动力学的基本构建块。（参看：《三种信息动力学：如何识别元胞自动机中的涌现？》）

M. Wibral, et al. Partial information decomposition as a unified approach to the specification of neural goal functions. Brain Cogn., 112 (2017), pp. 25-38

P.A.M. Mediano, et al. Towards an extended taxonomy of information dynamics via integrated information decomposition. arXiv (2021). http://doi.org/10.48550/arxiv.2109.13186

2. 冗余和协同之间的权衡

协同和冗余也可以被视为神经科学和认知科学中一个基本概念（信息整合, information integration）的两个方面。协同信息提供效率，通过充分利用系统变量之间可能的组合和相互作用，它允许系统的联合信息超过其各个部分单独贡献的总和。然而，由于协同信息取决于多个来源的共同贡献，因此即使是单个要素的故障也可能会破坏协同作用。相反，冗余提供了稳健性，因为过多的信息来源中，只需确保在任何一个来源中断时信息仍然可用。然而，冗余的代价是使用不到系统的全部信息容量，这是生物学和工程学中众所周知的权衡。

当观察大脑区域活动之间的强相关性或同步时，研究者推断大脑中存在高度的信息整合，这导致许多作者提出通过互信息来量化整合（参看《PNAS 速递：部分熵分解揭示人脑活动的高阶信息结构》）。当单个源携带特有或冗余信息时，所有这些信息都可以在局部获得（即来自该源）；仅从该来源即可完全获得它。然而，与特有信息不同，冗余信息可以从多个单独来源中的任何一个获得。相反，协同信息是去局部化的：它不能从任何单独的来源获得。

信息整合要处理冗余和协同之间的权衡，最初考察信息整合的视角是考察不同脑区之间如何传递同一信息，对此的另一种基于网络科学的视角是：（大脑或AI的）信息整合能力是让系统的信息处理能力从其变量之间的交互中受益的程度。这对大脑的运作至关重要。考虑一个反面的例子，即癫痫发作。此时所有大脑信号都是同步的，反映了高度冗余。此时神经元整合为一体，但缺乏合作。更一般的描述是，系统将无法仅仅通过相同信息的冗余副本来执行认知上有用的计算，如果它们（大脑或AI）想要促进适应性行为，计算和复杂认知要求信息最终应该被以恰当的方式组合而非简单的复制。

3. 大脑如何平衡协同和冗余

通过对大脑内在活动进行信息分解，研究发现人脑中的协同作用与冗余显著共存。协同主导区域和冗余主导区域之间存在明显的皮质区域分离，描绘出清晰的协同-冗余轴（图3A）。功能性 MRI 显示冗余在皮质层次结构的单峰端（unimodal，如初级视觉皮层、躯体运动皮层和听觉皮层）占主导地位。冗余（蓝色）与主要感觉和运动功能相关，表现出高度模块化的网络组织，与底层结构连接耦合。协同作用在额叶和顶叶多模式关联皮质中占主导地位，与复杂的认知相关，与突触密度以及突触和树突相关的基因和代谢过程有关。多模态解剖和任务激活证据表明，关联皮层（即不同来源的信息合作的区域）是多个处理流汇聚的地方。

虽然猕猴和人类相比，大脑的冗余程度是稳定的，但人脑协同作用携带的信息的总体比例明显更高。由于高协同区域也是进化上扩展最多的区域，可以推测皮质扩展可能是在人脑中观察到的额外协同作用的原因，进而导致人类更强的认知能力。前额叶和其他高协同区域相对脱离了底层白质、微观结构和大脑几何形状的限制，从而实现了灵活性。为了灵活地组合相关信息，复杂认知至少部分依赖于突触及其可塑性，故而高协同区域还表现出更高的突触密度，并且更多表达与突触和树突发育相关的基因。

针对人脑是如何平衡协同和冗余的，回答概括起来是：一方面，锚定在大脑结构主干上的冗余架构确保信息在大脑的输入和输出模块中稳定可用。可靠的感觉运动通道对于生存至关重要，保证了冗余提供的额外稳健性。这种对稳定性的需求可以解释感觉运动皮层的各种与冗余相关的特征：例如潜在的解剖连接性的限制；在进化尺度上，随着时间的推移、个体间甚至物种间的变异性变小。

另一方面，协同作用为大脑提供了支持灵活性的计算能力，与底层结构的耦合较少，并且随着时间的推移变化更大。高协同区域在代谢和遗传上准备支持突触发育和可塑性，参与需要不同认知模块之间合作的各种复杂任务。这种灵活性及其提供的计算能力和效率可能是协同作用在人类中比其他灵长类动物更普遍的部分原因，尤其是在经历了最大进化扩展的联合皮层中。然而，灵活性是有代价的：协同作用似乎特别容易受到外部冲击和药理干扰。人脑对协同作用的灵活性的依赖也可能导致其对神经发育和精神疾病的脆弱性，从而产生值得进一步探索的可检验假设，例如PTSD及精神疾病能否通过恢复大脑的协同作用治疗。

4. 协同和冗余的权衡如何改变

协同作用和冗余也随着神经动力学的不同时间尺度而以微妙的方式变化。对于微观动力学，来自神经元培养的证据表明，协同作用在较短的时间尺度上更为普遍，而冗余在较长的时间尺度上更为普遍，小鼠的钙成像表明这种长时间尺度的冗余对行为有益。在宏观动力学中，fMRI 信号模型显示出协同作用在较长时间尺度上占主导地位 。fMRI研究表明，大脑中的高度协同的默认模式（default mode）和额顶叶区域也具有较长的内在时间尺度，并表现出最复杂的活动，该区域也被证明与流体智力的测量相关，从而支持协同作用与复杂性和高阶认知存在关联。总体而言，产生协同和冗余的机制可能在不同时间尺度上有所不同：提供统一的、跨尺度的机制解释是未来的一个有希望的研究方向。

在宏观尺度，协同作用存在脆弱性。衰老和疾病对结构连接组的影响可能会对其支持不同类型信息的能力产生影响，协同-冗余平衡是预测大脑皮层功能是否易受麻醉剂、迷幻剂和认知增强剂急性药理干扰的最佳指标之一。网络结构和神经调节都可能影响大脑的信息特性，协同作用最强的跨模态联想皮层往往与各种精神障碍有关。无论是健康志愿者的麻醉，还是意识障碍（DOC）患者的脑损伤，当意识丧失时，一组高协同的跨模态区域会持续减少其协同作用，而当麻醉后意识恢复时，协同作用又会表现出来。猕猴的皮层电图记录补充了这些协同作用易受麻醉影响。

协同性和冗余性的平衡也会随年龄改变而发生变化。与年轻人相比，老年人（60-80 岁）大脑中的冗余相互作用比协同相互作用更占优势。冗余度的增加可能与神经系统之间的分化在衰老过程中减少的假说相吻合。然而，未来的研究将需要证明是否也在老年人中观察到了特有或协同信息的损失。

5. 信息作为生物认知和人工认知

（artificial cognition）之间的桥梁 

现有的人工神经网络在多大程度上依赖协同信息来实现其令人印象深刻的能力？人们很容易怀疑协同与计算能力之间的联系，因为最近人工智能进步的主要驱动力是模型的大小，而协同赋予了以随系统规模超线性扩展的方式编码信息的能力。考虑到较大的模型往往会表现出越来越强的协同作用，上述推论看起来是有道理。并且当人工神经网络学会灵活地执行多个任务时，协同作用就会增强，这是最近的人工智能模型已经开始表现出的类人智能的标志。然而，如果协同作用本质上是脆弱的，那么过度依赖协同作用可能会引起担忧。因此，可能迫切需要在我们开发的人工系统中辨别这些不同类型的信息。这样做还有可能打开许多当前人工智能模型的“黑匣子”，通过提供信息分解作为通用语言来理解不同的模型架构及其属性。

人工神经网络模型还提供了一个可用于研究大脑的强大工具，特别是当超出了目前体内实验所能实现的范围时。例如尽管我们有证据表明协同作用在复杂的任务需求下会增长，但也可以评估反向因果的可能：即明确支持协同作用（例如，通过在人工神经网络群体中选择协同作用的进化算法）是否会导致人工神经网络也具有更强的计算能力？基于人工神经网络的研究还可关注极端情况（例如，仅协同作用的系统），由此揭示其内在的优势和劣势，而这是生物系统根本不可能实现的。大脑动力学的计算模型为研究支持不同类型信息的神经生物学机制提供了极好的途径。例如，这些模型的局部或全局连通性可能会受到干扰，或者可以通过多模态注释来丰富它们，例如兴奋抑制比、受体和细胞类型的区域分布。这样做也可能为理解大脑如何恢复信息处理中冗余和协同的健康平衡铺平道路。

较大的人工神经网络通过在较大的神经元组之间传播协同作用来表示信息。当它们学习时，人工神经网络首先变得以冗余为主，然后单个神经元变得专业化，增加了它们的特有信息。这一发现为神经发育研究提供了有趣的假设。最近的研究直接利用认知领域的影响，表明当人工神经网络学习多个任务时，协同作用会增加，而这样做需要人工神经网络灵活地结合额外的信息源。需要多模态整合作为互补的任务的表现很大程度上取决于协同作用：与低协同作用的神经元相比，去除最具协同作用的神经元后，性能下降最多。同一项研究表明，冗余与鲁棒性相关：如果神经元在学习过程中被随机关闭，人工神经网络中的冗余就会增加。训练完成后，人工神经网络的性能对于人工损伤引起的扰动将更加稳健。这些结果支持理论预测和经验观察，表明高协同神经元在系统的总计算能力中发挥着更大的作用，但它们也代表了冗余可以抵消的脆弱点。总体而言，这些研究证实协同和冗余与认知和行为直接相关，正如其数学特性所预测的那样。

A.M. Proca, et al. Synergistic information supports modality integration and flexible learning in neural networks solving multiple tasks. arXiv (2022) Published online October 6, 2022. https://doi.org/10.48550/arXiv.2210.02996

6. 研究协同与冗余的替代视角：网络和博弈

除了前文所述的基于信息的视角，还可以通过网络和博弈两种视角研究信息处理系统的冗余与协同。由于与实现无关，信息论方法适用于跨成像模式、跨物种，甚至适用于人工系统。然而，这种普遍性的代价是它没有解决携带信息的信号如何在大脑解剖连接网络的区域之间物理移动：它只考虑这个过程的最终结果。网络通信模型明确解决了这个问题，网络通信模型是网络神经科学的一个活跃研究领域。尽管不同的信息模式可以在同一网络上发生，但沟通策略和信息动力学是交织在一起的。事实上，同时到达的“相互矛盾”信号可能会产生建设性或破坏性的相互作用，从而可能产生协同效应。相反，如果区域 A 和 B 之间的通信是通过在连接两个区域的所有可能路径上广播相同信号的副本来进行的，那么我们应该观察到广泛的信息冗余。与网络科学的另一个接触点是使用拓扑数据分析技术从网络角度而不是信息角度来检查高阶交互（涉及两个以上变量的依赖关系）。由于冗余和协同构成了高阶相互作用，这些方法的融合代表了一个令人兴奋的积极发展领域。

Sharply值的概念提供了关于协同作用的博弈论观点，量化了“玩家”联盟（例如，大脑区域）对完成给定任务所作贡献超出了单个玩家贡献总和的程度多少。基于Sharply值对信息分解的研究，提出了一种统一博弈论和信息论方法的方法。冗余可以基于连接区域 A 和 B 的并行路径的多重性，用图论术语来定义。这种冗余观点反映了信号重复的可能性，而不是信息论冗余所反映的信号重复的实际发生，从而提供了具有互补价值的替代视角。

7. 总结：大脑的信息架构

信息不是一个整体的实体，而是可以分解为协同的、特有的和冗余的组件。理清不同类型的信息对于理解大脑作为信息处理器官至关重要。该综述揭示了大脑如何平衡各种类型信息的相对优势和劣势，以将更高认知的协同灵活性与关键感觉和运动功能的冗余稳健性结合起来。冗余在灵长类动物的进化过程中似乎是稳定的，而协同作用在人类中，尤其是在人类加速的区域中，选择性地增加。

信息分解克服了当前描述大脑区域之间相互作用的方法的基本局限性，通过解释传统方法忽视的现象，解决了神经科学和认知科学中长期存在的概念混乱。进化可能首先追求冗余，以提供感觉和运动系统（即输入和输出）的可靠性。随后，一旦不再需要额外的鲁棒性，如果环境条件收敛以使额外的处理能力既有利又在能量上可持续，这些冗余主导的模块之间就会出现协同作用。因此，大脑的信息架构分为两部分，坚实的冗余支架将为进化提供基础，以构建更精细的信息处理系统，可以灵活地组合和处理多个信息源。逐渐更具协同性的神经结构可能有助于解释我们物种相对于其他灵长类动物如何产生更高的认知能力。

由于信息论的广泛适用性，解开不同类型的信息使得将人脑与其他物种的大脑甚至人工认知系统进行比较成为可能，为研究生物和人工认知的信息架构提供了基础。最终，通过阐明大脑中不同类型信息的计算作用，以及它们如何从神经生物学和大脑结构中产生，我们可以学习如何影响它们以维持和恢复健康的大脑功能。

因果涌现读书会第五季招募中

跨尺度、跨层次的涌现是复杂系统研究的关键问题，生命起源和意识起源这两座仰之弥高的大山是其代表。从2021年夏天至今，集智俱乐部已经陆续举办了四季「因果涌现」读书会，系统梳理了因果涌现理论的发展脉络，深入探讨了信息整合与信息分解的本质，并探索了在生物网络、脑网络、机器学习等跨学科领域的应用。此次因果涌现读书会第五季将追踪因果涌现领域的前沿进展，展示集智社区成员的原创性工作，希望探讨因果涌现理论、复杂系统的低秩表示理论、本征微观态理论之间的相通之处，对复杂系统的涌现现象有更深刻的理解。读书会从2024年4月19日开始，每周五晚20:00-22:00进行，持续时间预计8-10周。欢迎感兴趣的朋友报名参与！

详情请见：

荟萃复杂系统前沿进展，集结因果涌现学术社区：因果涌现读书会第五季启动

点击“阅读原文”，报名读书会