公开(公告)号：CN116503945B

公开(公告)日：2025-04-08

申请号：CN202310471308.3

申请日：2023-04-27

Applicant: 杭州电子科技大学信息工程学院 ,  杭州电子科技大学

Inventor： 张海平 ,  胡泽鹏 ,  徐世杰 ,  管力明 ,  朱崇磊

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于Transformer和错位对齐策略的小样本动作识别方法，包括：获取查询集视频和支持集视频；获得对应的第一图像集和第二图像集；对图像集进行采样并裁剪，裁剪后的第一图像集形成第一图像序列，每个裁剪后的第二图像集形成一个第二图像序列，将第一图像序列和一个第二图像序列视为一组；建立动作识别模型，动作识别模型包括依次连接的改进ResNet网络模型、时空特征编码器和多粒度特征对齐模块，并获取每组第一图像序列和第二图像序列对应的多粒度动作概率；采用分类器获取全部多粒度动作概率中概率最高的动作类别作为对应待识别动作类别视频的动作识别结果。该方法能够提升小样本动作视频分类的准确度和效率。

公开(公告)号：CN116503945A

公开(公告)日：2023-07-28

申请号：CN202310471308.3

申请日：2023-04-27

Applicant: 杭州电子科技大学信息工程学院 ,  杭州电子科技大学

Inventor： 张海平 ,  胡泽鹏 ,  徐世杰 ,  管力明 ,  朱崇磊

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于Transformer和错位对齐策略的小样本动作识别方法，包括：获取查询集视频和支持集视频；获得对应的第一图像集和第二图像集；对图像集进行采样并裁剪，裁剪后的第一图像集形成第一图像序列，每个裁剪后的第二图像集形成一个第二图像序列，将第一图像序列和一个第二图像序列视为一组；建立动作识别模型，动作识别模型包括依次连接的改进ResNet网络模型、时空特征编码器和多粒度特征对齐模块，并获取每组第一图像序列和第二图像序列对应的多粒度动作概率；采用分类器获取全部多粒度动作概率中概率最高的动作类别作为对应待识别动作类别视频的动作识别结果。该方法能够提升小样本动作视频分类的准确度和效率。