公开(公告)号：CN114998968B

公开(公告)日：2024-05-31

申请号：CN202210686072.0

申请日：2022-06-16

Applicant: 北京理工大学

Inventor： 黄宇婷 ,  王崇文

IPC: G06V40/16 ,  G06V40/20 ,  G06V10/764 ,  G06V10/80 ,  G06V10/26 ,  G06V10/762 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/049 ,  G06N3/088 ,  G06V10/774 ,  G10L17/18 ,  G09B5/06

Abstract: 本发明公开了一种基于音视频分析课堂交互行为的方法，包括如下步骤：通过教室中录音设备收录音频数据，利用说话人分割聚类算法处理得到课堂说话人变化序列，分析序列变化得到言语类课堂交互行为；通过教室中摄像头采集讲台上下视频数据，利用自搭建人脸检测网络FDN和人体站立姿态识别网络得到教师和学生位置信息，以音频说话人序列作为辅助分析得到非言语类课堂交互序行为。本发明解决了现有课堂交互行为分析方法无法充分利用课堂数据、反馈滞后等问题，利用深度学习技术实现自动化课堂交互行为分析，能够及时且客观反馈教学情况、有效促进教学活动的开展。

公开(公告)号：CN114998968A

公开(公告)日：2022-09-02

申请号：CN202210686072.0

申请日：2022-06-16

Applicant: 北京理工大学

Inventor： 黄宇婷 ,  王崇文

IPC: G06V40/16 ,  G06V40/20 ,  G06V10/764 ,  G06V10/80 ,  G06V10/26 ,  G06V10/762 ,  G06N3/04 ,  G06N3/08 ,  G06V10/774 ,  G10L17/18 ,  G09B5/06

Abstract: 本发明公开了一种基于音视频分析课堂交互行为的方法，包括如下步骤：通过教室中录音设备收录音频数据，利用说话人分割聚类算法处理得到课堂说话人变化序列，分析序列变化得到言语类课堂交互行为；通过教室中摄像头采集讲台上下视频数据，利用自搭建人脸检测网络FDN和人体站立姿态识别网络得到教师和学生位置信息，以音频说话人序列作为辅助分析得到非言语类课堂交互序行为。本发明解决了现有课堂交互行为分析方法无法充分利用课堂数据、反馈滞后等问题，利用深度学习技术实现自动化课堂交互行为分析，能够及时且客观反馈教学情况、有效促进教学活动的开展。