Nat. Mach. Intell.速递：基于少样本学习框架的多动物三维社交姿态估计、识别和行为嵌入

关键词：社会行为，机器学习，少样本学习，姿态识别，行为嵌入

论文题目：Multi-animal 3D social pose estimation, identification and behaviour embedding with a few-shot learning framework

论文期刊：Nature Machine Intelligence

论文地址：https://www.nature.com/articles/s42256-023-00776-5

斑图地址：https://pattern.swarma.org/paper/d8330274-ae7a-11ee-bc79-0242ac17000e

对动物行为的精确量化在揭示错综复杂的动物社会互动方面起着关键作用，在神经科学和生态学领域有着深远的应用。在发表于Nature Machine Intelligence的一项研究中，中国科学院深圳先进技术研究院脑认知与脑疾病研究所的研究人员提出了一种用于多动物三维社会姿态估计、识别和行为嵌入的少样本学习人工智能框架——社会行为图集（Social Behavior Atlas, SBeA）。

图1：SBeA的架构：a. 自由社交行为测试的视频采集。行为视频采集分为两个阶段，包括社会行为测试和动物数字身份识别。第一阶段捕捉两只小鼠自由社交互动的视频。b. 用于人工智能训练的数据注释。SBeA 需要多动物轮廓和单动物姿态的注释。c. 用于三维姿态跟踪的多级人工神经网络。d.三维姿态跟踪的输出。左图为人工智能的输出结果，包括视频实例、多动物姿态和多动物身份。e.并行动态分解身体轨迹。两只动物的原始三维轨迹可分解为运动、非运动和身体距离。经过动态时间分解后，这三个部分合并为社会行为映射。f.根据社会行为空间的分布对社会行为主题进行聚类和表型。

虽然诸如 DeepLabCut、SLEAP 和 SIPEC 等深度学习方法的最新进展提高了量化动物高维社会行为（包括姿势估计、身份识别和行为分类）的可及性，但这些方法的应用受到了注释数据集可用性不足的限制。在这项研究中，研究人员开发了一种连续遮挡复制粘贴算法（COCA）作为通用数据增强器，在多动物姿态估计步骤中将数据注释减少到约 400 帧。所需的数据数量相当于单个动物注释。COCA 促进 SBeA 达到比最先进方法更高的性能。此外，SBeA 还能结合摄像机阵列重建社会动物的三维姿态。

图2：CoCA作为数据增强器。a, COCA 概念图。在原始场景中，背景和动物的实例可以与遮挡合成新的组合。b, 两只自由移动动物的视频捕捉。c, COCA 作为一种通用增强器，可根据少量手动标记的数据进行多动物修补。d, 遮掩和姿势预测。e. 三维姿态重建。f, SBeA 和 maDLC 人工标注点数量的比较。g, 两只自由移动小鼠的距离分布。h, 所有验证数据的预测误差比较。

SBeA 中提出的双向迁移学习可以在社交互动过程中识别每只动物的身份，而无需人工标注。这就解决了即使是专业人类标注员也难以识别外观相似的动物身份的难题。通过 SBeA 的无监督社会行为分类法，带身份的三维社会姿势被进一步分解和聚类。SBeA 使用数量更少的标记帧进行多动物三维姿态估计，实现了无标签识别，并成功地将无监督动态学习应用于社会行为分类。

图3：基于双向迁移学习的动物识别。

SBeA 可帮助研究人员识别 Shank3B 突变小鼠（一种用于模拟自闭症谱系障碍的动物模型）中未定义的微妙社交行为模块。它表明微妙社交行为背后存在未知的神经调节机制。除小鼠外，SBeA 还能有效识别鸟类和狗等其他物种的微妙社交行为。神经科学和生态学将从 SBeA 提供的精确动物社交行为量化中受益。

编译｜郭瑞东

AI+Science 读书会