摘要


还记得被火爆的 KAN 支配的五一假期吗？论文第一作者刘子鸣在「AI+Science」读书会详细介绍了这项成果，并由社区成员整理成文，参看《KAN一作刘子鸣直播总结：KAN的能力边界和待解决的问题》。就在北京时间8月20日，Max Tegmark 团队发布了 KAN 的拓展工作 KAN 2.0（开源代码库也从 pykan 0.1 更新到了 pykan 0.2）。KAN 2.0 呈现的不仅是一个优化升级的网络架构，更是一种 AI+Science 的研究范式，这一范式使得 AI+Science 的研究更具有交互性和可解释性。

研究领域：AI+Science，KAN，AI可解释性，符号主义，连接主义

李颂元 | 编译

刘子鸣 | 审校


论文题目：

KAN 2.0: Kolmogorov-Arnold Networks Meet Science

论文地址：
https://arxiv.org/abs/2408.10205

近年来，人工智能在蛋白质折叠预测、自动化定理证明等任务取得了显著的进步。这些任务的共同点在于它们都有清晰的目标，可以由 AI 优化，而 AI 在其中是一个黑箱。尽管这种研究范式在上述这些应用驱动的任务中表现得非常好，但是别忘了我们还有好奇心驱动的科学。对于好奇心驱动的科学，研究过程更多是探索性的。除了获取对这个世界更多的知识，我们往往没有什么清晰的目标。有人可能会说，这种好奇心驱动的科学没什么用，恰恰相反——好奇心驱动的科学所发现的知识，往往是未来技术的基石，并且能催生出大量的应用。

好奇心驱动的科学和应用驱动的科学，它们问出的问题是不一样的。以 AlphaFold 为例，它之所以还停留在应用科学领域，是因为尽管它能成功地预测蛋白质的结构，却没有在更本质的层面发现什么新知识。AlphaFold 既然有如此高的预测准确率，它本应该发现了我们还不知道的知识，但是由于它是一个黑箱，它所发现的知识我们一无所知。因此，KAN 2.0 的作者们呼吁学界需要一种新的人工智能+科学的研究范式以支持好奇心驱动的科学的发展。这种研究范式对 AI 工具所提供的交互性和可解释性有很高的需求，这样这些 AI 工具才能无缝整合到科学研究中。

初代的 KAN 就提供了这么一套交互式的、可解释的 AI 工具，因为初代 KAN 把高维的函数分解成了若干个一维的函数，对这些一维函数的符号回归就形成了对原函数的一种解释。然而，初代 KAN 对可解释的定义还是有点狭隘，把可解释性等价于能否用数学符号表示。实际上科学不是总能够或者需要用符号来表示。比如化学和生物的问题，有时用公式表达反而过于复杂。在这些领域中，发现关键的特征和模块化的结构可能就够了。

另一个容易被忽视的问题是，我们可以在 KAN 中注入先验知识吗？对于科学而言，领域知识是非常重要的。即便只有很少的数据，甚至没有数据，我们也能从事科学研究。KAN 2.0 的作者们提出把先验知识用 KAN 表达出来，并且可以结合数据，在 KAN 中发现新的知识。

KAN 2.0 的研究思路如下图所示。作者在第二节提出了一个改进的 KAN，即MultKAN，这是一种加入了乘法操作的 KAN。因为在科学中乘法无处不在，加入乘法可以在许多情况让训练出来的KAN网络结构更简洁。初代的 KAN 可以看成是 MultKAN 的一个特例。KAN 2.0 正文中所说的 KAN 都是 MultKAN。在此基础之上，作者在第三节为 KAN 注入三种科学知识：辅助变量（特征）、模块化结构和符号公式，这个路径是从科学到AI (Science for AI)。同时，作者在第四节中，又从 KAN 中发现重要特征、模块化结构和符号公式，这个路径是从 AI 到科学 (AI for Science)。完整的故事就是 AI + Science。


当前 AI + Science 的主要挑战是，AI 和 Science 在主流的研究范式上存在冲突——主流的 AI 的连接主义的，而科学是符号主义的。KAN 2.0 所提出的 AI + Science 的研究范式，就是架起连接主义和符号主义的桥梁。论文的第五章探讨了 KAN 在守恒量、函数对称性、拉格朗日函数和本构定律方面的应用。


AI+Science 读书会


AI+Science 是近年兴起的将人工智能和科学相结合的一种趋势。一方面是 AI for Science，机器学习和其他 AI 技术可以用来解决科学研究中的问题，从预测天气和蛋白质结构，到模拟星系碰撞、设计优化核聚变反应堆，甚至像科学家一样进行科学发现，被称为科学发现的“第五范式”。另一方面是 Science for AI，科学尤其是物理学中的规律和思想启发机器学习理论，为人工智能的发展提供全新的视角和方法。

集智俱乐部联合斯坦福大学计算机科学系博士后研究员吴泰霖（Jure Leskovec 教授指导）、哈佛量子计划研究员扈鸿业、麻省理工学院物理系博士生刘子鸣（Max Tegmark 教授指导），共同发起以“AI+Science”为主题的读书会，探讨该领域的重要问题，共学共研相关文献。读书会已完结，现在报名可加入社群并解锁回放视频权限。


详情请见：
人工智能和科学发现相互赋能的新范式：AI+Science 读书会启动


推荐阅读
1. KAN一作刘子鸣直播总结：KAN的能力边界和待解决的问题
2. 无心插柳：苏联数学家柯尔莫哥洛夫与神经网络的新生
3. 探索“AI 大统一理论”：科学启发的机器学习理论
4. 张江：第三代人工智能技术基础——从可微分编程到因果推理 | 集智学园全新课程
5. 龙年大运起，学习正当时！解锁集智全站内容，开启新年学习计划

6. 加入集智，一起复杂！



点击“阅读原文”，报名读书会