MIT在读博士生、集智俱乐部AI+Science读书会发起人之一刘子鸣,最近作为第一作者共同提出了——KAN(Kolmogorov-Arnold Networks)框架。这项工作颠覆了机器学习传统的多层感知机(MLP)架构,不仅在理论上拓展了深度学习模型的边界,更在实际应用中展现出了卓越的性能和解释性。文章一经发布,在国内外社交媒体上引发了诸多探讨。短短一周,github仓库已经获得近10k star!

刘子鸣受邀于北京时间5月11日20:00-22:00,在集智AI+Science读书会中深入解读KAN的主要工作。他将分享KAN模型的灵感来源以及思考过程,并讨论KAN模型对未来深度学习模型发展的潜在影响,以及在AI+Science领域的广阔前景。同时,刘子鸣将在直播间回应针对KAN的各类问题,欢迎在文末留言提问。我们将向点赞最多的3位提问者赠送集智新书《复杂》。

arXiv论文:
https://arxiv.org/html/2404.19756v1
gitHub地址:
https://github.com/KindXiaoming/pykan

KAN推出之后,迅速获得人工智能研究者与开发人员的关注,短短一周,github已经获得数百fork近万star!


还在社交媒体受到学者广泛关注:


同时,也有各种各样的疑问:

  • 是否可以通过采用更高效的优化算法或调整学习率策略来加速KAN模型的训练和收敛?

  • KAN模型与传统的MLP相比,其核心创新和变革性质在哪里?是否仅仅在于使用了可学习的激活函数和B样条曲线?

  • KAN模型是否也面临着传统神经网络常见的局部最优问题?如果是,是否有特定的策略来避免或减少这种情况?

  • 鉴于存在先前类似的研究工作,KAN模型在理论和实际应用上的具体创新点是什么?其变革性质主要体现在哪些方面?

其中有代表性的是Colab的一篇测试评论,作者演示了如何将KAN网络转换为具有相同参数数量的普通MLP,但结构略有不同。KAN网络的特点是在每个节点上使用B样条作为激活函数。为了简化,作者在例子中使用了分段线性函数,这不影响网络的建模能力。因此作者认为,KAN的本质仍然是MLP。

https://colab.research.google.com/drive/1v3AHz5J3gk-vu4biESubJdOsUheycJNz#scrollTo=WVDbcpBqAFop


论文作者如何回应质疑?
KAN名副其实还是昙花一现?

本周六11日晚20:00-22:00,论文一作刘子鸣在集智AI+Science读书会上回应一切。欢迎报名读书会参与交流,或预约视频号直播收看!





分享大纲



 

  1. 论文深度解读
    1. 论文一作解读:刘子鸣博士将直接根据论文原文,逐章深入讲解KAN的理论基础、模型架构和实验结果。
    2. 背后的思考逻辑和想法:分享KAN模型的灵感来源,以及如何从Kolmogorov-Arnold表示定理中汲取思想,构建出具有强大表达能力和解释性的神经网络。
  2. 衍生研究方向
    1. 探讨KAN模型在数据拟合、偏微分方程求解等领域的应用潜力。
    2. 讨论KAN模型对未来深度学习模型发展的可能影响,以及它在AI+Science领域的广阔前景。



AI+Science 读书会


AI+Science 是近年兴起的将人工智能和科学相结合的一种趋势。一方面是 AI for Science,机器学习和其他 AI 技术可以用来解决科学研究中的问题,从预测天气和蛋白质结构,到模拟星系碰撞、设计优化核聚变反应堆,甚至像科学家一样进行科学发现,被称为科学发现的“第五范式”。另一方面是 Science for AI,科学尤其是物理学中的规律和思想启发机器学习理论,为人工智能的发展提供全新的视角和方法。

集智俱乐部联合斯坦福大学计算机科学系博士后研究员吴泰霖(Jure Leskovec 教授指导)、哈佛量子计划研究员扈鸿业、麻省理工学院物理系博士生刘子鸣(Max Tegmark 教授指导),共同发起以“AI+Science”为主题的读书会,探讨该领域的重要问题,共学共研相关文献。读书会已完结,现在报名可加入社群并解锁回放视频权限。


详情请见:
人工智能和科学发现相互赋能的新范式:AI+Science 读书会启动


人工智能与数学读书会


数十年来,人工智能的理论发展和技术实践一直与科学探索相伴而生,尤其在以大模型为代表的人工智能技术应用集中爆发的当下,人工智能正在加速物理、化学、生物等基础科学的革新,而这些学科也在反过来启发人工智能技术创新。在此过程中,数学作为兼具理论属性与工具属性的重要基础学科,与人工智能关系甚密,相辅相成。一方面,人工智能在解决数学领域的诸多工程问题、理论问题乃至圣杯难题上屡创记录。另一方面,数学持续为人工智能构筑理论基石并拓展其未来空间。这两个关键领域的交叉融合,正在揭开下个时代的科学之幕。


为了探索数学与人工智能深度融合的可能性,集智俱乐部联合同济大学特聘研究员陈小杨、清华大学交叉信息学院助理教授袁洋、南洋理工大学副教授夏克林三位老师,共同发起“人工智能与数学”读书会,希望从 AI for Math,Math for AI 两个方面深入探讨人工智能与数学的密切联系。读书会已完结,现在报名可加入社群并解锁回放视频权限。



详情请见:

人工智能与数学读书会启动:AI for Math,Math for AI



点击“阅读原文”,报名读书会