公开(公告)号：CN117351575A

公开(公告)日：2024-01-05

申请号：CN202311650373.9

申请日：2023-12-05

Applicant: 北京师范大学珠海校区

Inventor： 孙波 ,  张迎辉 ,  何珺 ,  徐子平

IPC: G06V40/20 ,  G06N3/0464 ,  G06V10/20 ,  G06V10/82 ,  G06V20/00

Abstract: 本发明提供一种基于文生图数据增强模型的非言语行为识别方法和装置，涉及人工智能教育应用技术领域，所述方法包括：获取待识别的原始图像，将所述待识别的原始图像输入至预先训练的文生图数据增强模型，输出待识别的全课堂教学场景图；其中，所述文生图数据增强模型包括稳定扩散子模型和控制网络子模型；将所述待识别的原始图像和所述待识别的全课堂教学场景图作为原始数据集，将所述原始数据集输入至预先训练的非言语行为识别模型，输出识别到的非言语行为；其中，所述非言语行为识别模型是基于历史原始图像以及历史全课堂教学场景图对卷积神经网络进行训练得到的。通过本发明提供的方法，保证非言语行为识别准确率高。

公开(公告)号：CN117351575B

公开(公告)日：2024-02-27

申请号：CN202311650373.9

申请日：2023-12-05

Applicant: 北京师范大学珠海校区

Inventor： 孙波 ,  张迎辉 ,  何珺 ,  徐子平

IPC: G06V40/20 ,  G06N3/0464 ,  G06V10/20 ,  G06V10/82 ,  G06V20/00

Abstract: 本发明提供一种基于文生图数据增强模型的非言语行为识别方法和装置，涉及人工智能教育应用技术领域，所述方法包括：获取待识别的原始图像，将所述待识别的原始图像输入至预先训练的文生图数据增强模型，输出待识别的全课堂教学场景图；其中，所述文生图数据增强模型包括稳定扩散子模型和控制网络子模型；将所述待识别的原始图像和所述待识别的全课堂教学场景图作为原始数据集，将所述原始数据集输入至预先训练的非言语行为识别模型，输出识别到的非言语行为；其中，所述非言语行为识别模型是基于历史原始图像以及历史全课堂教学场景图对卷积神经网络进行训练得到的。通过本发明提供的方法，保证非言语行为识别准确率高。