公开(公告)号：CN117373058A

公开(公告)日：2024-01-09

申请号：CN202311187053.4

申请日：2023-09-14

Applicant: 上海工程技术大学

Inventor： 范涛 ,  阚港辉 ,  侯世维 ,  王国中 ,  沈怡君

IPC: G06V40/10 ,  G06V20/52 ,  G06V10/44 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明公开一种用于小差异课堂行为的识别方法，包括在Slow路径中加入复合注意力机制模块和细粒度分析模块，构建以SlowFast网络模型为主体的识别网络模型，复合注意力机制模块用于经由弱监督注意力学习和双线性注意力池化处理，获得多张注意力图以及包含多个分部特征的特征矩阵；细粒度分析模块用于对多张注意力图进行细粒度分析，获得平均细粒度分类概率；将课堂监控视频数据预处理成多段短视频，从每段短视频中按照采样间隔选择每个对应视频片段的首帧图像，构成监控图像数据集，再按照课堂行为类别对监控图像数据集中的各个图像进行人工标注；利用监控图像数据集对识别网络模型训练，利用训练好的识别网络模型进行小差异行为识别。