公开(公告)号：CN117894079A

公开(公告)日：2024-04-16

申请号：CN202410117613.7

申请日：2024-01-26

Applicant: 北京工业大学

Inventor： 付利华 ,  李鑫辉 ,  邢旻与 ,  李国放 ,  王璐瑶

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/08 ,  G06N3/0464

Abstract: 本发明公开了基于长短时序特征增强和关键帧特征提取的小样本动作识别方法，首先通过额外引入图像的近红外模态来缓解可见光图像的局限性得到融合特征；提取视频帧序列不同时间尺度的局部短期时序信息，从而增强模型对于局部短期时序信息的捕获能力；提取视频的全局长期时序信息，减少被遮挡帧对识别的影响；通过比较每帧的特征向量与全局特征向量之间的余弦相关性，将视频帧序列中判别性更强、与动作相关性更大的帧作为关键帧，并提取关键帧特征；将融合特征、长短时序增强特征和关键帧特征在特征维度连接得到动作特征；通过小样本分类器对动作特征进行识别，完成小样本动作识别任务。该方法使用交叉熵损失优化模型以提高识别的准确率。