Deep learning of causal structures in high dimensions under data limitations
https://www.nature.com/articles/s42256-023-00744-z
因果学习允许研究人员超越纯粹的相关性或预测性分析，学习潜在的因果关系，这对于科学理解以及广泛的下游任务都非常重要，是科学AI+science领域的一个关键挑战。
近日Nature Machine Intelligence的研究，以生物医学问题为案例，提出一种基于深度学习的架构，用于从高维数据和先验因果知识的组合中学习变量之间的因果关系。该研究在因果风险框架内结合了卷积神经网络和图神经网络，提供了一种在高维、包含噪声和数据限制条件下明显有效的方法（D2CL），这些条件是包括大规模生物数据在内的许多场景下数据共有的特征。该方法所提出的学习器能有效识别数千个变量中的未知因果关系。实验结果包括广泛的（线性和非线性）模拟（其中基本事实是已知的，可以直接与之比较）以及真实的生物学实例，其中模型被应用于高维分子数据，其输出结果与模型未知的验证实验进行比较。这些结果支持了深度学习方法可用于大规模学习因果网络的观点。
模型架构：D2CL通过结合数据和先验知识来学习因果结构，从而生成一个图 G，用来表示系统变量之间的因果关系，而不仅仅是相关关系。在工作流（图1左）图中，来自特定系统的经验数据与先验因果知识相结合，以估计未知因果结构，最终得到完整的包含因果关系的网络。在生物问题工作流程（图1右）中，从特定的生物系统中收集数据，并从对该系统的既定科学或干预实验中获得因果先验知识。该模型试图从有限的输入中归纳出一个涵盖所有系统变量的全局图。
D2CL 将多个变量的观测数据与先验因果知识相结合，以学习变量之间的因果关系。对于任何一对变量 Xi 和 Xj（对应于输入数据矩阵的两列），D2CL 都力求了解 Xi 是否对 Xj 有因果影响，Xj 是否对 Xi 有因果影响，或者两者都没有。
D2CL 采用的神经架构由两部分组成：一个是旨在学习分布特征的 CNN ，另一个是检测结构规律性的 GNN 。对于有序对（Xi，Xj），CNN 通过遍历核密度估计（kernel density estimate，KDE）形成嵌入的密度估计值来捕捉分布信息。GNN 从初始图中提取一个子图，并计算包含节点邻域结构信息的嵌入。然后，CNN 和 GNN 嵌入通过多层合并，最终输出有向因果关系的概率。输入的因果信息用于提供有监督学习训练的标签。在推理过程中，网络将超越初始输入，提供跨越所有相关变量的全局图的估计值。
图3：在真实的酵母基因敲除后的单细胞RNA测序数据上，D2CL的ROC曲线
图4：当输入的因果关系标签包含错误时，D2CL具有鲁棒性，其预测因果图的ROC不会限制下降
图5：在真实的高维数据，即人类经过基因编辑的细胞系中，D2CL的ROC优于其它方法
D2CL处理包含扰动的高维数据，可通过新的、可扩展的方法以特定的方式查询分子网络。这些方法与可扩展的因果关系学习工具相结合，有可能对疾病生物学产生重大影响，使跨越数千或数万个变量的全局网络能够在许多不同的环境中得到研究。其学习到的网络将来可用于预测新扰动下的疾病表型或药物反应（这是一项不同于标准监督学习的任务，因为测试案例涉及对系统的未知扰动）。此外，在个性化医疗领域，这种方法甚至可以对潜在的治疗策略进行合理优化，因为后者通常是针对分子节点的干预措施。
