公开(公告)号：CN117746096A

公开(公告)日：2024-03-22

申请号：CN202311520370.3

申请日：2023-11-15

Applicant: 浙江大学软件学院(宁波)管理中心(宁波软件教育中心)

Inventor： 贝毅君 ,  郭松源 ,  娄恒瑞

IPC: G06V10/764 ,  G06V40/10 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/049 ,  G06N3/08 ,  G06Q50/20

Abstract: 本发明公开了一种基于多模特征融合的在线学习专注度的评估方法，包括：获取带有专注度标签的目标视频，对目标视频进行采样得到目标帧图像，并逐个提取多模特征；将多模特征以不同权重进行融合，再通过卷积运算拼接形成时序特征矩阵，进行时间维度编码，通过多头自注意力模块生成视频的融合特征矩阵；通过线性层映射和激活函数得到预测概率向量；通过训练参数，得到训练后的专注度评估模型；将待评估视频输入到模型中，得到待评估目标视频的预测概率向量，选取最大的概率值对应的专注度标签作为评估结果；优点在于该方法可以很好地融合不同的视觉特征并实现时序对齐，有效提取学习者在线学习时的细粒度特征，评估方法的准确性和鲁棒性高。