公开(公告)号：CN118968385A

公开(公告)日：2024-11-15

申请号：CN202411138995.8

申请日：2024-08-19

Applicant: 东南大学

Inventor： 张竞慧 ,  黄文博 ,  张书展 ,  金嘉晖 ,  东方

IPC: G06V20/40 ,  G06V10/774 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/088

Abstract: 本发明提供了一种用于小样本学习的长序列动作识别方法，旨在解决传统基于Transformer的方法在处理长序列时面临的高计算复杂度问题，同时改进局部特征建模和时序对齐的能力，并缓解类内差异积累对模型性能的负面影响。本发明主要包括三个核心部分：特征提取模块、Mamba分支模块和对比学习模块。针对传统Mamba方法在小样本动作识别中的局限性，本发明提出了一种多尺度的Matryoshka Mamba模型。该模型通过内模块增强局部特征的表达能力，并通过外模块实现局部特征的精确对齐。此外，本发明还提出了一种混合对比学习方法，用以有效缓解同类别长序列的类内差异积累对小样本动作识别性能的负面影响。本发明在提升小样本学习效率的同时，显著提高了长序列动作识别的准确性和鲁棒性。