公开(公告)号：CN115019358A

公开(公告)日：2022-09-06

申请号：CN202110951389.8

申请日：2021-08-18

Applicant: 东南大学

Inventor： 伍家松 ,  王晨琳 ,  孔佑勇 ,  杨淳沨 ,  杨冠羽 ,  姜龙玉 ,  沈傲东 ,  舒华忠

IPC: G06V40/16 ,  G06V20/40 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种真实场景下的多模态数据集的构建方法，该方法将慕课授课视频构建成包含音频、图像、视频三个模态的数据集；该方法使用多任务卷积神经网络进行人脸检测，使用FaceNet提取说话人特征并构建人脸库，在扫描视频的过程中逐步扩充完善人脸库，通过计算视频截取的人脸与人脸库中人脸的欧氏距离，对视频进行分类，并结合ffmpeg完成批量自动化视频分类和分割，构造出同时带有说话人面部视觉信息和说话人声音信息的数据集。本发明通过采集慕课网授课视频，保证了数据集的音频多样性和场景真实性，有助于训练音频相关深度学习模型的泛化性能；且全自动批处理方法提高了多模态数据集的构建效率。