公开(公告)号：CN117037274A

公开(公告)日：2023-11-10

申请号：CN202311006335.X

申请日：2023-08-11

Applicant: 厦门大学嘉庚学院 ,  平和县嗨果匠果业有限公司

Inventor： 郭一晶 ,  张宏磊 ,  杜小甫 ,  王华伟 ,  陈宗佑

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/08

Abstract: 本发明提供了一种基于Transformer和示例咨询的在线行为识别方法，包括以下步骤：步骤S1、获取视频流解码后的图像序列；步骤S2、将特征序列进行位置编码，获得长时和短时特征向量；步骤S3、获得可用于解码的潜在上下文特征；步骤S4、利用解码器对潜在上下文特征和短时位置编码向量进行融合特征编码和转换，获得最终的特征序列，并对最终输出进行类别分类；步骤S5、将当前帧特征与类别示例进行比较得到类别特征，将类别特征与当前特征进行融合计算得到类别分类；步骤S6、将两个分支的得分进行融合得到最终分类结果。应用本技术方案可实现对视频流进行实时动作识别，同时具有较高的速度和准确率。