公开(公告)号：CN116266394A

公开(公告)日：2023-06-20

申请号：CN202111544918.9

申请日：2021-12-16

Applicant: 广东工业大学

Inventor： 叶一凡 ,  陈静 ,  谢怀逸 ,  陈素琪 ,  苏成悦 ,  叶永青

IPC: G06V20/40 ,  G06F40/35 ,  G06F40/253 ,  G06N3/0442 ,  G06N3/08 ,  G10L25/30 ,  G10L25/63 ,  G06V10/764 ,  G06V10/82

Abstract: 本申请提供一种多模态的情绪识别方法、设备及计算机可读存储介质，该方法包括：获取目标视频，并进行信息获取处理，得到视频流信息、语音信息以及文本信息；基于情绪识别模型的视频情绪识别子模型，根据视频流信息确定第一情绪特征矩阵；基于语音情绪识别子模型，根据语音信息确定第二情绪特征矩阵；基于文本情绪识别子模型，根据文本信息确定第三情绪特征矩阵；对第一情绪特征矩阵、第二情绪特征矩阵以及第三情绪特征矩阵进行融合，得到第四情绪特征矩阵；对第四情绪特征矩阵进行分类处理，得到情绪信息。本申请通过情绪识别模型对目标视频对应的视频流信息、语音信息和文本信息进行多模态的情绪识别，能够提升对视频中人物的情感识别的准确性。

公开(公告)号：CN114305418B

公开(公告)日：2023-08-04

申请号：CN202111558152.X

申请日：2021-12-16

Applicant: 广东工业大学

Inventor： 陈素琪 ,  陈静 ,  谢怀逸 ,  苏成悦 ,  陈冠霖 ,  唐琦 ,  曾宇晖 ,  叶永青 ,  马瑛瑶 ,  徐静宜 ,  曾雯莹 ,  林冬鑫

IPC: A61B5/16

Abstract: 本发明公开一种用于抑郁状态智能评估的数据采集系统及方法，包括数据采集模块、数据评估模块及数据存储模块；数据采集模块用于采集测试者的生理信息数据；数据评估模块对数据进行实时评估并调整数据采集模块的工作模式；数据存储模块用于存储数据供后续进行抑郁状态评估；数据采集模块包括第一特征获得单元、第二特征获得单元、第三特征获得单元、第四特征获得单元和第五特征获得单元；数据评估模块包括第一评估值获得单元、第二评估值获得单元和自适应单元。本发明实时采集测试者的生理信息数据，在数据采集过程中根据已获得的数据实时自适应性地调整数据采集策略，以便获得最能反映测试者真实抑郁状态的数据，提高智能评估的准确性。

公开(公告)号：CN114305418A

公开(公告)日：2022-04-12

申请号：CN202111558152.X

申请日：2021-12-16

Applicant: 广东工业大学

Inventor： 陈素琪 ,  陈静 ,  谢怀逸 ,  苏成悦 ,  陈冠霖 ,  唐琦 ,  曾宇晖 ,  叶永青 ,  马瑛瑶 ,  徐静宜 ,  曾雯莹 ,  林冬鑫

IPC: A61B5/16

Abstract: 本发明公开一种用于抑郁状态智能评估的数据采集系统及方法，包括数据采集模块、数据评估模块及数据存储模块；数据采集模块用于采集测试者的生理信息数据；数据评估模块对数据进行实时评估并调整数据采集模块的工作模式；数据存储模块用于存储数据供后续进行抑郁状态评估；数据采集模块包括第一特征获得单元、第二特征获得单元、第三特征获得单元、第四特征获得单元和第五特征获得单元；数据评估模块包括第一评估值获得单元、第二评估值获得单元和自适应单元。本发明实时采集测试者的生理信息数据，在数据采集过程中根据已获得的数据实时自适应性地调整数据采集策略，以便获得最能反映测试者真实抑郁状态的数据，提高智能评估的准确性。