公开(公告)号：CN112801042B

公开(公告)日：2023-12-15

申请号：CN202110251597.7

申请日：2021-03-08

Applicant: 南京大学

Inventor： 徐春蕾 ,  胡锦鑫 ,  潘飞 ,  郭延文

IPC: G06V20/40 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464

Abstract: 本发明公开了一种基于深度学习和视频轨迹的学生上课行为识别方法，包括以下步骤1：使用手工标注的学生上课行为训练样本训练双流卷积网络；步骤2：利用改进的轨迹算法从行为视频中提取出视频轨迹；步骤3：使用步骤2提取的轨迹和行为视频作为输入通过步骤1训练得到的双流卷积网络提取出每个视频轨迹时刻的特征；步骤4：使用步骤3提取的视频轨迹特征作为输入使用循环神经网络提取视频轨迹特征在时间维度的特征；步骤5：使用步骤4得到的特征通过时空池化后拼接获得整个视频的特征；步骤6：根据步骤5得到的视频特征训练一个线性SVM分类器

公开(公告)号：CN112801042A

公开(公告)日：2021-05-14

申请号：CN202110251597.7

申请日：2021-03-08

Applicant: 南京大学

Inventor： 徐春蕾 ,  胡锦鑫 ,  潘飞 ,  郭延文

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于深度学习和视频轨迹的学生上课行为识别方法，包括以下步骤1：使用手工标注的学生上课行为训练样本训练双流卷积网络；步骤2：利用改进的轨迹算法从行为视频中提取出视频轨迹；步骤3：使用步骤2提取的轨迹和行为视频作为输入通过步骤1训练得到的双流卷积网络提取出每个视频轨迹时刻的特征；步骤4：使用步骤3提取的视频轨迹特征作为输入使用循环神经网络提取视频轨迹特征在时间维度的特征；步骤5：使用步骤4得到的特征通过时空池化后拼接获得整个视频的特征；步骤6：根据步骤5得到的视频特征训练一个线性SVM分类器对视频进行分类。