公开(公告)号：CN117636458A

公开(公告)日：2024-03-01

申请号：CN202311437287.X

申请日：2023-10-31

Applicant: 杭州电子科技大学

Inventor： 何允栋 ,  吴晓寒 ,  金天 ,  陈遥 ,  房豪 ,  王涛 ,  王然

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/44 ,  G06V10/77 ,  G06V10/762 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06V10/74 ,  G06N3/088 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了一种基于无监督动作原型的实时动作识别方法，首先对视频进行均匀采样并嵌入时空信息得到特征向量，同时获取视频真实类别的独热编码向量；将预先挑选的包含场景信息的动作片段输入动作原型提取模块获取每个动作类别的动作原型；接着将视频特征向量输入时序分支和类别分支，并将动作原型输入类别分支，分别提取时序特征和类别特征；通过分类器得到两个分支的预测概率，最后融合两个分支的预测结果并选择概率最大的动作作为模型最终的动作预测结果。本发明中提出的方法利用双分支结构，实现视频宏观和微观视角信息的利用，从而提成动作识别的准确性，再利用动作原型优化方法，提取动作原型，为模型提供场景信息，实现模型优化。