导语


本次直播是AI+Science读书会的加餐活动！扩散模型横空出世之后，图像、视频的生成似乎就走上了快车道——分辨率越来越高，内容越来越准确。与此同时，扩散模型「逐步优化」的生成模式也与很多系统产生了关联，例如ODE、电场线等。本次直播分享，来自塔夫茨大学的博士后章彦博将会与大家分享关于「扩散演化算法」的最新工作。

关键词 ：扩散模型，演化算法，神经网络，机器学习，统计物理




背景




在现实世界中，创造性的产物往往源自演化。随机的变异，加上自然选择，就产生了丰富多样的物种。而如今，在计算的世界中，创造性常常来自生成式模型，而其中则以扩散模型为主流。演化与降噪在直觉上就具有很多相似性——都在逐步优化，都能产生丰富的内容，都同时蕴含着确定与随机。

我们在最近的工作中发现：扩散模型在数学上就是一个演化算法，天然地蕴涵了自然选择、随机变异，以及生殖隔离。基于这个发现，我们提出了「扩散演化算法」（Diffusion Evolution Algorithm），无需训练任何神经网络，可以直接优化黑盒系统的参数。不仅如此，我们刻意地减少人为设计的成分，使得扩散模型领域的工具可以用于此算法：扩散模型的加速采样方法同样可以加速演化；而隐空间扩散模型的思想也可以导出「隐空间演化算法」，使得我们可以轻松优化上万维的系统（例如神经网络），解决一些强化学习的任务。

扩散模型与演化算法的联系不仅在于性能，我们也关心它的理论潜力——演化算法可以反过来导出更好的生成模型吗？如何进行开放式的演化？其他扩散模型会对应哪些演化算法？



大纲



 

  • 两种生成模型：演化与扩散模型

    • 来自生物学的启示

    • 演化也是一种生成模型

  • 扩散模型也是演化算法

    • 扩散模型的新视角

    • 生成与演化

    • 扩散演化算法

  • 免费的午餐：站在扩散模型的肩膀上

    • 扩散模型加速采样 -> 演化算法加速迭代

    • 隐空间扩散模型 -> 隐空间演化算法




主讲人简介




章彦博，美国亚利桑那州立大学复杂系统博士，本科毕业于中国科学技术大学凝聚态物理系，现在塔夫茨大学进行博士后研究，集智科学家，曾在瑞典卡罗琳斯卡医学院进行访问交流。研究方向：统计物理、复杂系统等。他的研究兴趣主要是试图理解我们这个世界的“特殊尺度”。为什么原子会存在？为什么分子会存在？为什么“事物”的概念是一个有用的概念？此外，他还致力于利用化学反应网络探索生命的起源。





直播信息




直播时间：

10月20日10:00-12:00（周日），直播报名入口见后文。

参与方式：

集智俱乐部 B站和视频号免费直播，扫码可预约：



扫码参与读书会，加入群聊获取本系列读书会的视频回放权限、资料权限，与社区的一线科研工作者和企业实践者沟通交流。

报名成为主讲人
读书会成员均可以在读书会期间申请成为主讲人。主讲人作为读书会成员，均遵循内容共创共享机制，可以获得报名费退款，并共享本读书会产生的所有内容资源。详情请见：人工智能和科学发现相互赋能的新范式：AI+Science 读书会启动




参考文献




  • Zhang, Y., Hartl, B., Hazan, H., & Levin, M. (2024). Diffusion Models are Evolutionary Algorithms. arXiv preprint arXiv:2410.02543.
  • Ho, J., Jain, A., & Abbeel, P. (2020). Denoising diffusion probabilistic models. Advances in neural information processing systems, 33, 6840-6851.
  • Song, J., Meng, C., & Ermon, S. (2020). Denoising diffusion implicit models. arXiv preprint arXiv:2010.02502.

相关文章

AI+Science 读书会


AI+Science 是近年兴起的将人工智能和科学相结合的一种趋势。一方面是 AI for Science，机器学习和其他 AI 技术可以用来解决科学研究中的问题，从预测天气和蛋白质结构，到模拟星系碰撞、设计优化核聚变反应堆，甚至像科学家一样进行科学发现，被称为科学发现的“第五范式”。另一方面是 Science for AI，科学尤其是物理学中的规律和思想启发机器学习理论，为人工智能的发展提供全新的视角和方法。

集智俱乐部联合斯坦福大学计算机科学系博士后研究员吴泰霖（Jure Leskovec 教授指导）、哈佛量子计划研究员扈鸿业、麻省理工学院物理系博士生刘子鸣（Max Tegmark 教授指导），共同发起以“AI+Science”为主题的读书会，探讨该领域的重要问题，共学共研相关文献。读书会从2023年3月26日开始，每周日早上 10:00-12:00 线上举行，持续时间预计10周。欢迎对探索这个激动人心的前沿领域有兴趣的朋友报名参与。


详情请见：
人工智能和科学发现相互赋能的新范式：AI+Science 读书会启动


非平衡统计物理读书会启动！


统计物理学不仅能解释热学现象，还能帮助我们理解从微观粒子到宏观宇宙的各个层级如何联系起来，复杂现象如何涌现。它通过研究大量粒子的集体行为，成功地将微观世界的随机性与宏观世界的确定性联系起来，为我们理解自然界提供了强大的工具，也为机器学习和人工智能领域的发展提供了重要推动力。


集智俱乐部联合纽约州立大学石溪分校教授汪劲、德累斯顿系统生物学中心博士后研究员梁师翎、香港浸会大学助理教授唐乾元，共同发起「非平衡统计物理」读书会，关注非平衡统计物理的前沿理论进展、生命和热力学、统计物理与机器学习交叉三个大的主题方向，涵盖热机优化问题、涨落相关的热力学、反常热力学现象、信息视角下的热力学、生命系统的景观和流理论、活性物质、生命系统、种群动力学、机器学习和人工智能等前沿话题。读书会计划从11月19日开始，每周二晚19:00-21:00进行。我们诚挚邀请相关领域的研究者分享的工作，也欢迎大家一起参与讨论交流！




点击“阅读原文”，报名读书会