公开(公告)号：CN116665845A

公开(公告)日：2023-08-29

申请号：CN202310558652.6

申请日：2023-05-17

Applicant: 北京邮电大学

Inventor： 李雅 ,  任一鸣 ,  高迎明 ,  李启飞 ,  王栋

IPC: G16H20/70 ,  G06V20/40 ,  G06V40/20 ,  G06V10/774 ,  G06V10/82

Abstract: 本发明提供一种基于多模态数据用户情绪自测系统，包括：信息获取模块、多模态数据处理模块、数据存储模块和评估模块；信息获取模块接收用户个人信息；多模态数据处理模块中，量表自测模块向用户提供情绪测试量表并计算分数；语音检测模块向用户发送带有多种情感激发的问题，并收集答复语音；对答复语音进行VAD处理后，由预设模型提取音频特征；离线状态下，将答复语音转换为文本数据，提取文本情感特征；视频检测模块向用户发送带有多种情感激发的视频，并收集用户观看时的行为视频，由预设模型提取其中的视频特征；评估模块根据上述得到的特征，得到情绪分析数据及评估值。本发明的系统支持远程自测，医疗成本低，检测流程标准且客观。