人类大脑拥有860亿神经元，与之相比，昆虫脑仅有数十万神经元，却可以通过有效编码环境信息产生复杂的智能感知行为，如捕食与自主导航等。研究昆虫等小型模式生物的神经信息处理机制，或许可以启发轻量化的智能算法或系统，为下一代人工智能系统的设计提供轻量化、高效性的全新思路，以简单高效的方式解决复杂问题。在集智俱乐部「昆虫智能与AI」读书会中，复旦大学类脑科学与技术青年研究员宋卓异老师探讨了昆虫的神经信息处理机制及其可能为仿生智能带来的启发。
关键词：昆虫智能，类脑智能，人工智能，神经科学，神经元模型
宋卓异 | 讲者
尹爱华 | 整理
昆虫有没有智能？之前的研究发现，蜜蜂可以通过拉抽绳子来获取被塑料板盖住的圆盘，可以学会两步走的实验，可以计数；蜻蜓拥有动物界最高的捕猎成功率；蚂蚁通过复杂的路径探索环境，会选择一条更直接、更有效的路径返回巢穴，具有出色的空间导航能力。这些事实说明，昆虫的确拥有智能，虽然相比于人类这种智能可能很初级。
蜜蜂有令人惊艳的智能
无脊椎动物有令人惊艳的智能
Chittka, Lars. The mind of a bee. Princeton University Press, 2022.
研究昆虫的智能有哪些额外的价值？与人脑智能相比，昆虫依赖百万神经元即可完成博弈、捕猎导航等智能行为，人脑则拥有860亿神经元，因此其独特的优势在于轻量化；与机器智能相比，目前机器智能还无法实现类似昆虫的自主智能行为。因此，昆虫脑是轻量化智能算法和系统的重要仿生对象。
目前国际上重大项目与研究机构均部署了昆虫脑与类脑的研究，如美国脑计划中公开了果蝇脑全脑图谱，欧洲脑计划仿蜜蜂脑构建无人机集群系统，美国国防部仿生昆虫脑结构构建下一代人工智能系统，很多研究通过探索提炼昆虫的神经编码过程，构建仿生智能感知系统。
昆虫脑是轻量化智能算法和系统的重要仿生对象
生物体智能是生物为适应环境、实现生存，代代演化来的能力。有一种观点是，类脑智能的研究需要从构建闭环系统的视角出发，模仿生物体通过感知、认知、行为控制和主动感知形成一个自适应的智能系统。
光流感知是感知视野中运动信息的重要方式，从上世纪80年代以来一直是图像处理的重要算法。近些年的SOTA光流算法有几百万的参数，但是仍然存在遮挡等问题。Bouwmeester等人的研究以行为控制的性能为目标，希望无人机通过光流检测实现避障，仅在计算光流时提供一点点图像分割的先验知识，就实现了将200万参数的光流网络轻量化到4万参数左右。因此，从闭环系统的角度整体考虑算法设计具有重要的意义。
从构建闭环系统的角度综合研究类脑智能
基于行为控制的光流算法可以大幅轻量化网络
果蝇光感受器神经元与感觉自适应
在不同的亮度条件下，相机需要实时调节光圈，在暗光条件下，需要增大光圈增大进光量；在强光条件下，需要减小光亮，防止芯片饱和。而果蝇的光感受器神经元具有大动态范围感光的能力，在不同的亮度条件下，可以自适应动态调节。
果蝇光感受器神经元
单神经元的感觉自适应
果蝇的感光神经元是视网膜第一层神经元，将光信号转换为电信号（光电转导）来启动视觉。将电极扎入果蝇脑，施加光刺激，发现存在自适应响应的动态过程。
真实世界中果蝇眼睛接收到的信号是时刻变化的，而且变化范围很大（相差十个数量级），速度很快，如苍蝇飞行时，接收到的信号在9个数量级范围内大幅波动。实验中如果用不同的光强去刺激果蝇，尽管光强的数量级相差10倍，但是输出响应范围差异不大，这依赖于果蝇的自适应调节。
果蝇光感受器
果蝇光感受器神经元-自适应响应
果蝇是怎样动态实时地调节自适应响应，使得可以非常有效地编码动态视觉信息呢？宋卓异老师的博士课题解析了动态自适应的过程有怎样的神经机制。在此之前有很多人研究了稳态自适应的机制，但是没有非常令人信服的动态自适应的机制结果。
光感受器神经元模型
这项研究构建了光感受器神经元模型，从细胞功能、细胞算法、细胞机制综合多尺度去研究自适应的功能。这个模型集成了从分子尺度到全细胞的电信号响应的映射，是神经科学领域第一例这样的模型。
1）在“全细胞”范围内集成了光电化学反应过程。传统的生物物理模型（如HH模型）模拟了将电流信号转化成电压信号的过程。在此基础上，光感受器神经元模型考虑了光子打到蛋白上，经过分子反应链，最终作用到离子通道的打开和关闭的光电化学反应过程。
2）在一个平台上链接分子尺度到全细胞尺度的动力学现象。
为了验证模型的效果，比较了暗光和亮光背景下，施加不同分布视觉刺激后真实神经元响应和仿真模型的响应。发现对服从任意分布的视觉刺激（自然刺激、粉红色噪声、白噪声）光感受器神经元模型可以复现真实神经元响应的平均动态和信噪比，其泛化能力得到了验证。
大动态感知范围的神经机制：随机自适应采样机制
光感受器神经元模型是一个白箱模型，因此可以借助这个模型研究生物神经元是怎样动态的实时调节自适应响应。宋卓异等人提出了随机自适应采样框架解释大动态范围感光的现象。主要有4个机制：
1）微绒毛采样。研究发现微绒毛个数越多响应越好越快，因为微绒毛在采样外界输入的光子。模型中可以实时设定每一根微绒毛在哪个时刻得到了多少光子的刺激，解决了“无法确定单神经元响应的实时输入是什么”这个问题。
2）单光子自适应。生物的光感受器可以对单光子响应，把单光子转化成电流，即量子跃升（quantum-bumps）。在暗光条件下跃迁很大，亮光条件下跃迁很小，有50倍差异，这是受到分子反应链调节的。
3）单光子响应不应期。不同的分子对光子响应后，会休息一段时间，这段时间不会处理输入的光子信息。之前的研究中通常认为不应期会丢失信息，反映了物理系统的局限。但是宋老师的研究证明了不应期是自适应的核心机制。
4）随机响应。随机响应对信号处理抗混叠是非常有益的，对于复现响应的统计特性是很重要的。
大动态感知范围的神经机制
随机自适应采样框架
Song, Z., & Juusola, M. (2017). A biomimetic fly photoreceptor model elucidates how stochastic adaptive quantal sampling provides a large dynamic range. The Journal of Physiology, 595, 5439 – 5456.
光子反应不应期在实验上无法给微绒毛插入电极直接测量，只有一些非常间接的实验说明了它的存在。宋卓异等人的研究用仿真的方式证明了必须有光子反应不应期才能实现光自适应。
不应期产生作用的机制是什么？在暗光条件下不应期对信号编码不起作用，光子输入到电流输出的增益是100%，因为暗光下有3万个微绒毛采样光子，每个微绒毛接收到的光子序列都很稀疏，两个光子到来时间差别比较长。但是在亮光条件下，每个微绒毛接触到的光子序列更稠密，在不应期中丢失的光子数量与光子输入的稠密程度和不应期分布有关，通过推导得到了输出输出的增益公式，准确给出了不应期的自动增益控制机制。
局部的光子反应不应期-光自适应的核心机制
不应期是重要的自动增益控制机制
Song, Z., Postma, M., Billings, S.A., Coca, D., Hardie, R.C., & Juusola, M. (2012). Stochastic, Adaptive Sampling of Information by Microvilli in Fly Photoreceptors. Current Biology, 22, 1371 – 1380.
随机自适应采样机制是否通用
不同感觉器官神经元有相似的神经响应动态，如在实验中发现光感受器和压力感知的神经元响应相似，但是它们的自适应机制相似吗？
宋卓异等人针对压力感知神经元建立模型，将外界的拉伸信号映射成电流信号，发现如果神经元的离子通道考虑三种状态：开、关和不应期，则可以复现响应。离子通道开放时间和不应期的时间比例决定了不同的响应动态。因此，离子通道的随机自适应采样可以产生自适应动态。
随即自适应采样机制是否通用？
压力感知传导-随机自适应采样
Song, Z., Banks, R. W., & Bewick, G. S. (2015). Modelling the mechanoreceptor’s dynamic behaviour. Journal of anatomy, 227(2), 243–254. https://doi.org/10.1111/joa.12328
启发和思考
随机自适应采样机制存在于不同的感觉器官神经元中，光自适应可以使得生物眼睛在大动态范围内感光，那么神经元的自适应神经信息处理机制对类脑芯片或者仿生有哪些启发？这是一个值得思考和探讨的问题。
如果从批判性的角度考虑自适应，自适应一定是有益的吗？生物系统进化出来的机制并不是单个任务决定的单目标优化的结果，而是在满足物理局限的条件下多目标优化的协调，因此在某些方面自适应机制存在缺陷，比如光自适应会造成视觉的消失，这是因为神经元对持续不变的信号敏感度降低。
果蝇光感受器的微跳视现象
光自适应会造成视觉的消失，但是眼动可以帮助刷新视觉系统的信息，抵消自适应造成的视觉消失。但是拍摄时相机的快速移动会造成视觉模糊，为什么眼动不会造成视觉模糊现象？
此外，剑桥皇家科学院的院士R.C. Hardie等人的研究发现果蝇光感受器遇光会收缩产生微跳视现象，包括平移和纵向的微跳。果蝇这种现象会不会导致视觉模糊？因为本身果蝇整个眼睛只有700个小眼，空间分辨率很低，叠加视觉模糊使其视觉更糟糕，严重危害生存。
为了探究果蝇的微跳视现象，宋卓异等人进行了超分感知实验和模型仿真。关于果蝇视觉的固有认知是：光感受器的间距决定了复眼的空间分辨率，这类似于图片中像素间的距离决定了相机的分辨率。但是通过实验和模型仿真发现，微跳视可以抵抗运动模糊，并把空间分辨率提高5倍。这颠覆了昆虫视觉领域百年来的固有认知。
果蝇光感受器遇光收缩会产生微跳视现象
基于“微跳视”的超分感知机制
微跳视如何在复杂背景下提供超分信息
针对全眼模型，微跳视如何在复杂背景下提供超分信息？为了回答这个问题，宋卓异等人在Lazar教授的研究基础上，替换光电转导模型，构建果蝇视网膜仿真系统，将仿真速度提高了很多倍，使得原来需要计算机集群几分钟的仿真在单台笔记本上仿真只要不到2秒钟。并通过定量化评估方法证明了微跳视促进果蝇视网膜突破光学结构的局限性，察觉到本不易察觉的微小运动物体的信息，具有超分感知的作用。
微跳视如何在复杂背景下提供超分信息
构建果蝇视网膜仿真系统
Lazar, A.A., Zhou, Y., Ukani, N.H., & Psychas, K. (2015). A Parallel Processing Model of the Drosophila Retina.
从构建闭环系统的角度综合研究类脑智能超分感知
法国仿昆虫运动实验室的 Franceschini 教授等人开发了 MAC 仿生昆虫闭环系统，通过仿生复眼提取光流，估计姿态，控制行为，已经实现基于自我运动估计的导航行为。
此外，对于无人机跟踪地势、飞机降落在航行的舰船等对空间分辨率要求不高的任务，只需要判断整体的运动方向，利用粗粒度的全景估计和行为控制就可以实现很好的效果。
但是细粒度、小目标追踪一定需要超分感知，因此借助神经信息处理达到超分辨感知的机制是什么值得研究。
仿生昆虫感知与导航的微小型无人机系统
基于粗粒度的全景运动估计与行为控制
防碰撞的脑机制与模型
研究发现有神经元编码正在逼近物体的大小和面积扩大的速度。如果相对于时间的逼近神经元对物体的大小是非线性编码，那么对于远处的物体检测到的可能性很低，因为信号被淹没在噪声中，不利于生存。科学家在大脑中发现了可以进行非线性转换的神经元，这种神经元编码了size和速度的非线性组合，可以大大提前检测的时间。
动物有复杂的逃跑行为
防碰撞的脑机制与模型
防碰撞的模型架构-计算机和生物架构
计算机和生物角度的防碰撞架构有很大不同。前者是基于物体识别的计算机视觉，后者是基于运动感知或特征识别，这种基于生物视觉的防碰撞模型架构更加具有选择性，速度更快。
防碰撞的模型架构
生物启发的防碰撞检测模型
Klapoetke, N. C., Nern, A., Peek, M. Y., Rogers, E. M., Breads, P., Rubin, G. M., Reiser, M. B., & Card, G. M. (2017). Ultra-selective looming detection from radial motion opponency. Nature, 551(7679), 237–241. https://doi.org/10.1038/nature24626
Rind F. C. (1996). Intracellular characterization of neurons in the locust brain signaling impending collision. Journal of neurophysiology, 75(3), 986–995. https://doi.org/10.1152/jn.1996.75.3.986
动态背景下防碰撞的类脑模型
目前基于运动感知环路或特征识别环路的类脑模型，在动态背景下效果并不好，这是因为智能体本身和逼近的物体都在动，二者的运动模式会造成一定的混淆。那么运动感知环路和特征识别环路能够相互作用提升动态背景下的防碰撞性能吗？目前科学家找到了一些神经元同时接受运动感知或特征识别神经元的输入。
基于这样的机制，构建了一个类果蝇的防碰撞模型，同时考虑运动感知环路和边缘检测环路，将两种神经元得到的信号相乘，进行多目标优化，收敛到了一个生物学可解释的结果。
新发现的LPLC突触前神经元：T2&T3
一个类果蝇脑的防碰撞模型
在动态背景下，相比于只有运动感知环路的模型或只有特征识别环路的模型，结合了运动感知环路或特征识别环路的类脑模型表现更好。在AirSim三维仿真环境下，结果表面结合了运动感知环路或特征识别环路的类脑模型噪声会更小。
此外，这个类脑模型具有神经元的可解释性。中间神经元的功能与真实神经元相似。既有类似T2和T3的神经元检测边缘，也有类似T4和T5的神经元检测运动模式。
模型提高在动态背景下的防碰撞信息估计
生物可解释性-中间神经元的功能像真实的神经元
细胞分子-动力学-功能链接
之前的研究发现了神经元动力学模型（不应期）与宏观细胞功能（自适应）的关系，但是目前仍无法理解复杂的细胞现象是如何从分子间的联系中涌现的，即细胞动力学背后的分子机制是什么。一种研究方法是通过计算机仿真，但是这种方法计算耗时，参数的穷举很麻烦；另一种研究思路是利用数学分析方法揭示细胞动力学背后的分子机制。
系统生物学模型构建细胞分子-动力学-功能的链接
数学分析方法揭示细胞动力学背后的分子机制
化学主方程式描述了细胞内各个分子个数在不同状态下，分布随时间变化的动态。分析的目标是通过简单的解析形式，解释不应期背后的分子机制。难点在于求解非线性时变的化学主方程式。宋博士课题组另辟蹊径，利用路径积分法求解了具有A+A 分子碰撞的生化网络的首达时间分布的解析解。这种解析方法的结果与数值方法结果一致。求解的不应期分布的简易数学表达式可以帮助我们揭示响应不应期背后的分子机制。
数学分析方法揭示细胞动力学背后的分子机制
RP解析准确率高
昆虫类脑研究可以为下一代人工智能系统的设计提供轻量化、高效性的全新思路，其核心在于以简单高效的方式解决复杂问题。通过多学科交叉协作，可以进一步推动仿生人工智能技术的发展和落地，构建出具有灵活性和适应性的轻量化智能系统。
从构建闭环系统的角度综合研究类脑智能
欢迎感兴趣的朋友观看读书会视频回放深入学习：
斑图地址：https://pattern.swarma.org/study_group_issue/794
宋卓异，复旦大学类脑智能科学与技术研究院青年研究员。具有在控制科学和神经科学领域交叉学科的研究背景，长期致力于构建多尺度及大型计算机仿真模型研究神经编码问题，即神经系统将环境信息编码为神经信息，以便在大脑中产生智能。相关成果发表于Current Biology，eLife, Journal of Neuroscience等期刊。
研究方向：计算神经科学、神经系统建模、神经编码、仿生视觉、类脑智能，研究兴趣主要集中在多尺度类脑模型的构建与自适应神经编码研究，如视网膜仿真模型和昆虫复眼仿真模型在仿生视觉系统中的应用。
对简单模式动物的系统研究可以帮助我们看清树丛中的路线，定义和发现关键问题，是脑科学与类脑研究十分必要一环。昆虫智能的研究在国内尚属小众，为了促进来自神经科学、系统科学、物理学、数学以及计算机科学等不同领域，对昆虫智能、仿生机器人、类脑智能与计算、人工智能感兴趣的学术工作者的交流与合作，集智俱乐部联合复旦大学宋卓异、西湖大学孙一、中科院生物物理研究所司光伟和北京大学的梁希同老师，发起了神经、认知、智能系列读书会第四季——「昆虫智能与AI」读书会。
详情请见：昆虫智能如何启发人工智能与仿生机器人？昆虫智能与AI读书会启动！
推荐阅读
6. 加入集智，一起复杂！
点击“阅读原文”，报名读书会
