生成流网络：基于网络采样扩展搜索空间 | GFlowNet 最新研究梳理

导语

生成流网络（GFlowNet）是一种新的概率机器学习框架，和强化学习同层次，可以应用于实验科学循环的建模、假设生成和实验设计阶段。在集智俱乐部「AI+Science」读书会，Mila 研究所和蒙特利尔大学在读博士张鼎怀综述介绍了GFlowNet框架。本文从张鼎怀博士的 Github 推荐中精选了部分论文和资料，介绍近期生成流网络的研究前沿，希望帮助大家了解这一领域的最新进展。

关键词：机器学习，生成流网络，主动学习，因果推断

靳秋野 | 作者

张鼎怀 | 审校

梁金 | 编辑

生成流网络（GFlowNet，GFN）是由 Yoshua Bengio 教授和他的团队于2021年提出的一种生成模型，用于从给定的奖励函数中采样多样性高的候选对象。例如，在设计新分子的时候，我们希望能够生成一系列具有高奖励（如稳定性、活性等）的分子结构。传统的最大化回报的方法，如强化学习（Reinforcement Learning，RL），往往会收敛到单一的最优解，而忽略了其他可能的高回报解；马尔可夫链蒙特卡罗法（Markov Chain Monte Carlo，MCMC）虽然可以从一个能量函数中生成分布，但是计算代价高昂且只能进行局部探索。

相较于 RL 和 MCMC 方法，GFlowNet 的优势在于可以生成多样化的高回报解；同时，GFlowNet 利用了时序差分学习的思想，将生成过程视为一个流网络，可以处理不同轨迹产生相同最终状态的情况。例如，在生成某个分子图时，有多种方式可以逐步添加原子。GFlowNet 将轨迹集合视为一个流，并将流一致性方程转化为一个学习目标，类似于将贝尔曼方程转化为时序差分方法。

经过 Bengio 及其团队的不懈努力，GFlowNet 已在不同任务上展示了有效性和优越性，例如可以用于估计联合概率分布、边缘概率分布、熵、互信息、Pareto前沿、奖励最大化策略等，展示了生成流网络的灵活性和通用性。

本文旨在介绍近期生成流网络的研究前沿，其中的论文和资料等选自Mila研究所和蒙特利尔大学张鼎怀博士的 Github 推荐，希望帮助大家了解这一领域的最新进展。

张鼎怀的 Github：

https://github.com/zdhNarsil/Awesome-GFlowNets

使用GFlowNets促进科学发现的迭代实验循环。| 图片来源：GFlowNets for AI-Driven Scientific Discovery

| DynGFN: 生成流网络进行贝叶斯动力学因果发现

论文题目：DynGFN: Bayesian Dynamic Causal Discovery using Generative Flow Networks

论文链接：

https://arxiv.org/abs/2302.04178

作者：Lazar Atanackovic, Alexander Tong, Jason Hartford, Leo J. Lee, Bo Wang, Yoshua Bengio [Mila – The Quebec AI Institute]

背景：科学发现的一个核心问题，是从可观测数据中学习潜在的因果结构。贝叶斯因果发现方法通过在给定先验和观察的可接受图集上学习后验来解决这个问题。

动机：现有的方法主要考虑静态系统的观测数据，并假设潜在的因果结构采用有向无环图（directed acyclic graph, DAG）的形式。然而，在具有动态反馈机制调节单个变量轨迹的情况下，这种无环性假设会失效，除非可以考虑时间因素。

方法：本文提出一种名为 DynGFN 的贝叶斯动态因果发现方法，它使用生成流网络来处理具有动态反馈机制的系统中的因果结构。DynGFN 包括三个关键模块：1）图采样器，用于对编码观测变量之间因果依赖关系的图结构进行采样；2）生成流网络，用于建模后验分布；3）基于贝叶斯推断的算法，用于学习潜在的因果结构。

优势：1）可以处理具有动态反机制的系统中的因果结构，相比现有方法更加全面；2）可以处理具有环路的因果结构，相比现有方法更加灵活；3）可以对可能的解释结构建立后验分布，从而更好地模拟可能性分布；4）使用生成流网络来提高性能，相比现有方法更加高效；5）在单细胞 RNA 速度数据上进行了实证评估，并展示了在基因调控网络发现方面的应用。

一句话总结：本文介绍了一种名为 DynGFN 的贝叶斯动态因果发现方法，它使用生成流网络来处理具有动态反馈机制的系统中的因果结构。

图1. 贝叶斯因果发现动态系统的结构

图2. 基于图结构的不确定性（indeterminacy）模型

| GAFlowNet：生成式增强流网络

论文题目：Generative Augmented Flow Networks

论文链接：

https://arxiv.org/abs/2210.03308

作者：Ling Pan, Dinghuai Zhang, Aaron Courville, Longbo Huang, Yoshua Bengio [Mila – Quebec AI Institute & Tsinghua University]

ICLR 2023 spotlight

背景：生成流网络是一个概率框架，其中智能体学习用于对象生成的随机策略，使得生成对象的概率与给定的奖励函数成正比。与奖励最大化的强化学习方法相比，其有效性已在发现高质量和多样化的解决方案方面得到证实。

动机：由于GFlowNets只能从终端状态的奖励中学习，在稀疏奖励任务中容易陷入局部最优解，可能限制了其适用性。实际上，中间奖励在学习中起着关键作用，例如通过内在动机提供中间反馈，即使在特别具有挑战性的稀疏奖励任务中也是如此。

方法：本文提出了一种新的学习框架，称为生成式增强流网络（Generative Augmented Flow Networks, GAFlowNet）。该框架通过引入中间奖励来指导智能体在状态空间中进行探索。具体来说，作者使用内在动机来指定中间奖励，以解决稀疏奖励任务中的探索问题。

优势：1）通过引入中间奖励来指导智能体在状态空间中进行探索，可以解决稀疏奖励任务中的探索问题；2）使用内在动机来指定中间奖励，可以提高智能体的多样性和收敛性；3）理论上证明了该框架可以产生无偏差的解决方案；4）在GridWorld和分子领域上进行了广泛实验，证明了该框架的有效性，未来还可以扩展到复杂任务，如分子图生成。

一句话总结：本文提出了一种新的学习框架GAFlowNet，通过引入中间奖励来指导智能体在状态空间中进行探索，解决稀疏奖励任务中的探索问题，并在GridWorld和分子领域上进行了广泛实验，证明了该框架的有效性。

图2. 生成式增强流网络GAFlowNet的整体框架

图8. 分子生成任务的性能展示

| MOGFNs：多目标生成流网络

论文题目：Multi-Objective GFlowNets

论文链接：

https://arxiv.org/abs/2210.127‍65

作者：Moksh Jain, Sharath Chandra Raparthy, Alex Hernandez-Garcia, Jarrid Rector-Brooks, Yoshua Bengio, Santiago Miret, Emmanuel Bengio

[Mila – The Quebec AI Institute]

ICML 2023

背景：在机器学习的许多应用中，如药物发现和材料设计，目标是生成同时最大化一组目标的候选项。由于这些目标经常是相互冲突的，所以没有一个候选项可以同时最大化所有目标，无法在不损害一个目标的情况下改善另一目标。此外，在实践中，这些目标往往是不明确的，使得候选项的多样性成为关键考虑因素。现有的多目标优化方法未能捕捉候选空间的多样性。

动机：受到GFlowNets在单目标优化中生成多样性候选项的成功启发，Bengio等人考虑将其扩展到多目标优化中，提出了Multi-Objective GFlowNets (MOGFNs)来解决这个问题。MOGFNs 由一种新的条件 GFlowNet 组成，其对多目标优化问题分解得到的一组单目标子问题进行建模。

方法：本文提出了两种MOGFNs方法来解决多目标优化和候选项生成中的挑战。第一种方法是Preference-Conditional GFlowNets (MOGFN-PC)，它将Reward-Conditional GFlowNets与Weighted Sum Scalarization相结合，可以在不同的偏好条件下生成多样性的帕累托最优候选项。第二种方法是MOGFN-AL，它是GFlowNet-AL在多目标主动学习设置下的扩展，可以在有限的标签数据下生成具有多样性的帕累托最优候选项。

优势：1）MOGFNs可以同时最大化多个目标，并且能够生成一组具有多样性的帕累托最优候选项；2）MOGFNs可以在不同的偏好条件下生成多样性的帕累托最优候选项；3）在小分子、DNA Aptamers 和荧光蛋白等材料设计任务上，MOGFNs 相对于现有方法具有更好的性能。

一句话总结：本文提出了Multi-Objective GFlowNets (MOGFNs)方法，可以同时最大化多个目标，并且能够生成一组具有多样性的帕累托最优候选项，适用于各种多目标优化和候选项生成任务。

图1. 分子图生成和DNA序列生成的任务说明

图2. 多目标生成流网络MOGFN的采样分布可视化

| 广义生成流网络理论

论文题目：A theory of continuous generative flow networks

论文链接：

https://arxiv.org/abs/2301.12594

作者：Salem Lahlou, Tristan Deleu, Pablo Lemos, Dinghuai Zhang, Alexandra Volokhova, Alex Hernández-García, Léna Néhale Ezzine, Yoshua Bengio, Nikolay Malkin [Mila – The Quebec AI Institute]

ICML 2023

背景：生成流网络是一种平摊变分推理算法，它被训练从组合对象上的非归一化目标分布中采样。它的一个关键限制是仅限于离散空间。

动机：扩展 GFlowNets 的应用范围，使其能够处理连续或混合状态空间，而不仅仅局限于离散空间；此外，本文还旨在探索GFlowNets的理论基础，并通过实验验证其在概率推断和各种建模设置中的性能。

理论：提出了一种广义 GFlowNets 理论，该理论包括离散 GFlowNets 和具有连续或混合状态空间的GFlowNets；广义 GFlowNets 理论要求状态空间结构必须满足一定条件，包括所有状态都可以从源状态到达、从源状态到达任何状态所需的步数有限等；广义 GFlowNets 理论要求学习到的概率密度函数必须是基于状态而非基于动作。

方法：使用了两个实验来验证广义 GFlowNets 的性能：一个是在离散空间中进行的实验，另一个是在连续空间中进行的实验。通过这些实验，可以更好地了解广义 GFlowNets 在不同场景下的表现，并为未来研究提供新思路和方向。

优势：在连续空间中，广义GFlowNets相比于离散GFlowNets和非GFlowNet基线具有更好的性能表现。具体来说，广义GFlowNets在多个数据集上都取得了更好的采样效果和对数似然值，并且可以处理更复杂的数据分布。这些结果表明，广义GFlowNets是一种有效的生成模型，在处理连续或混合状态空间时具有很强的优势。

一句话总结：本文提出了一种广义的生成流网络（GFlowNets）理论，可以处理连续或混合状态空间，并在实验中证明了其在连续空间中具有更好的性能表现。

图1. 广义生成流网络的训练和学习过程展示

图2. 广义生成流网络的采样分布可视化

| GFlowOut：基于生成流网络的 Dropout

论文题目：GFlowOut: Dropout with Generative Flow Networks

‍论文链接：

https://arxiv.org/abs/2210.12928‍

作者：Dianbo Liu, …, Yoshua Bengio [Mila – The Quebec AI Institute & NUS, Singapore & DeepMind & Facebook AI Research]

ICML 2023

背景：贝叶斯推断作为一种基础工具可以解决现代神经网络的许多关键问题，如校准不良、泛化能力差和数据效率低下。然而，将贝叶斯推断扩展到大型网络架构是具有挑战性的，并且需要限制性的近似。

动机：传统的贝叶斯推断方法dropout在处理现实世界中的任务时存在一些挑战，如信息有限、数据分布不平衡、训练数据有限等，本文旨在利用生成流网络的概率框架来学习后验分布，以期解决现代神经网络中的关键问题，如不确定性校准（calibration）、提升网络泛化能力以及数据效率等。

方法：提出的方法是GFlowOut，它使用生成流网络的概率框架来学习dropout掩码上的后验分布。具体来说，GFlowOut通过将dropout掩码视为二进制随机变量，并使用生成流网络来建模这些随机变量的后验分布。本文通过在多个数据集和模型上进行实验证明了GFlowOut方法的有效性。

优势：1）更好的泛化能力：GFlowOut可以更好地泛化到分布不同的数据，从而提高模型的性能和鲁棒性；2）更准确的不确定性估计：GFlowOut可以提供更准确的不确定性估计，从而使模型更加可靠和鲁棒；3）实用性强：GFlowOut方法易于实现，并且在多个数据集和模型上进行了实验证明了其优越性。

一句话总结：GFlowOut方法可以提高神经网络模型的泛化能力、不确定性估计和校准能力，具有实用性强的优点。

图1. GFlowOut的理论框架展示

表2. 在分布外检测试验上的性能

| 关于生成流网络在药物设计任务中的泛化性评估

论文题目：Evaluating Generalization in GFlowNets for Molecule Design

论文链接：

https://openreview.net/forum?id=JFSaHKNZ35b

作者：Andrei Cristian Nica, Moksh Jain, Emmanuel Bengio, Cheng-Hao Liu, Maksym Korablyov, Michael M. Bronstein, Yoshua Bengio [Mila – The Quebec AI Institute & University of Oxford & Politehnica University of Bucharest]

ICLR 2023 MLDD workshop

背景：深度学习对于药物发现问题，如从头设计分子，具有很大的潜力。但是，生成用于训练这类模型的数据是一个昂贵和耗时的过程，因为需要进行实验室实验或昂贵的模拟。这个问题还因为机器学习算法的数据需求量大而加剧。

动机：探索如何评估GFlowNet方法在小分子生成中的泛化能力。GFlowNet方法已在生成高得分多样化候选物方面表现出良好的性能，并具有离线非策略方法的优势。然而，为这样的模型找到适当的泛化评估指标，即找到高得分多样化候选物的指标，将有助于指导在线数据收集。因此，本文旨在开发评估GFlowNet性能的技术，并确定最有前途的度量标准以预测泛化。

方法：针对GFlowNet方法的泛化能力评估指标：本文提出了一种名为GFNEval的评估指标，用于跟踪训练和评估GFlowNets的泛化能力。该指标基于生成模型的概率分布和真实数据分布之间的KL散度，可以用于衡量模型在未见过的数据上的性能。

发现：本文使用GFNEval指标来研究GFlowNet方法在训练过程中学习动态。通过对GFNEval值随时间变化的观察，本文发现了一些有趣的现象，例如模型在训练早期会生成较为相似且低得分的分子，而在后期则会生成更多多样化且高得分的分子。这些发现有助于深入理解GFlowNet方法在小分子生成中的工作原理。

贡献：通过实验将GFNEval指标与其他常用指标进行了比较，包括Spearman相关系数、平均绝对误差（MAE）和平均相对误差（MRE）。实验结果表明，GFNEval指标在不同的小分子生成任务中都能够很好地预测模型的泛化能力，并且与其他指标相比具有更高的准确性和稳定性。因此，GFNEval指标是最具前景的泛化评估指标之一。

一句话总结：本文提出了一种新的评估指标GFNEval，用于评估GFlowNet方法在小分子生成中的泛化能力，并通过实验证明其优越性。同时，本文还对GFlowNet方法进行了深入研究和分析，为小分子生成领域提供了有价值的参考。

图1. 所提指标GFNEvalS和已有指标Top1000Diversive之间的关联性分析

表1. 所提指标和已有指标之间的斯皮尔曼相关系数

结论

本文介绍了6篇关于GFlowNet的最新研究工作，这些研究工作为GFlowNet的发展提供了有力的支持，使GFlowNet可以应用于更广泛的领域中。

目前，GFlowNet的研究工作主要集中在以下几个方面：一是进一步拓展GFlowNet的应用范围，包括在处理更多样化、更复杂的数据分布时的性能表现；二是进一步提升GFlowNet的泛化能力，包括在不同任务中的性能表现、在扩展数据集上的泛化能力等；三是深入研究GFlowNet的理论基础，包括理论推导、数学证明等方面的工作。

未来的工作可以探索GFlowNet在其他交叉领域的应用，例如在自然语言处理、计算机视觉、计算机辅助药物设计等领域。通过多学科交叉和协作，我们可以更好地发掘和利用GFlowNet的潜力，推动其在下游任务中发挥作用。

资源分享

教程：Yoshua Bengio教授撰写了一篇详细的教程，介绍了生成流网络的基本概念、原理和应用，以及一些未来的研究方向和挑战。

相关信息：Yoshua Bengio. Generative Flow Networks. 2022.

链接：

https://yoshuabengio.org/2022/03/05/generative-flow-networks

书籍：目前还没有专门介绍生成流网络的书籍，但可以参考一些涉及生成模型、变分推理、能量模型等相关主题的书籍，如《深度学习》、《机器学习》等；此外，Bengio介绍了GFlowNet在科学发现中的应用和前景。

相关信息：Yoshua Bengio et al. GFlowNets for AI-Driven Scientific Discovery.

链接：https://arxiv.org/abs/2302.00615

项目：有一些开源的代码库和项目，实现了生成流网络的不同版本和应用。可以在GitHub开源库上找到有关GFlowNets的文章和项目，并根据自己的需要进行修改或扩展。

相关信息：GitHub – zdhNarsil/Awesome-GFlowNets: A curated list of resources about generative flow networks (GFlowNets).

链接：

https://github.com/zdhNarsil/Awesome-GFlowNets

还有 Emmanuel Bengio 的帮助大家快速上手写代码的 colab，非常推荐：

相关信息：GFlowNet Tutorial [PRACTICAL colab notebook]

链接：

https://colab.research.google.com/drive/1fUMwgu2OhYpQagpzU5mhe9_Esib3Q2VR

AI+Science 读书会启动

AI+Science 是近年兴起的将人工智能和科学相结合的一种趋势。一方面是 AI for Science，机器学习和其他 AI 技术可以用来解决科学研究中的问题，从预测天气和蛋白质结构，到模拟星系碰撞、设计优化核聚变反应堆，甚至像科学家一样进行科学发现，被称为科学发现的“第五范式”。另一方面是 Science for AI，科学尤其是物理学中的规律和思想启发机器学习理论，为人工智能的发展提供全新的视角和方法。

集智俱乐部联合斯坦福大学计算机科学系博士后研究员吴泰霖（Jure Leskovec 教授指导）、哈佛量子计划研究员扈鸿业、麻省理工学院物理系博士生刘子鸣（Max Tegmark 教授指导），共同发起以“AI+Science”为主题的读书会，探讨该领域的重要问题，共学共研相关文献。读书会从2023年3月26日开始，每周日早上 9:00-11:00 线上举行，持续时间预计10周。欢迎对探索这个激动人心的前沿领域有兴趣的朋友报名参与。