-
公开(公告)号：CN118430043A
公开(公告)日：2024-08-02
申请号：CN202410523477.1
申请日：2024-04-28
Applicant: 北京邮电大学
IPC: G06V40/16 , G06V10/774 , G06V10/82 , G06V10/764 , G06V10/80 , G06N3/048 , G06N3/0895 , G06N3/0442 , G06N3/084 , G10L25/63 , G10L25/57
Abstract: 本申请提供多模态情感识别模型训练方法、多模态情感识别方法及设备，方法包括：基于对比学习方式对多个情感识别对象各自对应的第一模态特征和第二模态特征进行情感信息对齐处理，采用难分样本挖掘方式和交叉注意力机制进行特征融合，采用融合特征对第一二分类器、第二二分类器和四分类器进行多任务联合训练，以使第一二分类器和第二二分类器用于识别融合特征是否匹配对应的情感标签，并将四分类器训练为用于识别情感识别对象所属情感类别的多模态情感识别模型。本申请能够有效提高模型整体的性能和泛化能力，并能够缓解训练过程中不同模态在对于情感识别任务贡献度不同的问题，能够辅助多模态信息融合提高情感识别的正确率和鲁棒性。
-
公开(公告)号：CN115414042A
公开(公告)日：2022-12-02
申请号：CN202211096131.5
申请日：2022-09-08
Applicant: 北京邮电大学
Abstract: 本发明提供一种基于情感信息辅助的多模态焦虑检测方法及装置，该方法包括：获取文本数据集和语音信号集；将各文本数据分别输入至文本情感数据清洗模型，得到各情感类别，并清洗掉情感类别与第一情感不一致的文本数据，得到第二文本数据集；将各语音信号分别输入至语音情感数据清洗模型，得到各语音信号对应的情感类别，清洗掉情感类别与第一情感不一致的语音信号，得到第二语音信号集；将第二文本数据集输入至文本焦虑检测模型，得到文本模态特征，将第二语音信号集输入至语音焦虑检测模型，得到语音模态特征，将文本模态特征和语音模态特征进行特征融合，并基于融合后的特征得到被测者的焦虑分类结果。该方法可准确的检测被测者的焦虑状态。
-
Patent Agency Ranking
公开(公告)号：CN116665845A
公开(公告)日：2023-08-29
申请号：CN202310558652.6
申请日：2023-05-17
Applicant: 北京邮电大学
IPC: G16H20/70 , G06V20/40 , G06V40/20 , G06V10/774 , G06V10/82
Abstract: 本发明提供一种基于多模态数据用户情绪自测系统，包括：信息获取模块、多模态数据处理模块、数据存储模块和评估模块；信息获取模块接收用户个人信息；多模态数据处理模块中，量表自测模块向用户提供情绪测试量表并计算分数；语音检测模块向用户发送带有多种情感激发的问题，并收集答复语音；对答复语音进行VAD处理后，由预设模型提取音频特征；离线状态下，将答复语音转换为文本数据，提取文本情感特征；视频检测模块向用户发送带有多种情感激发的视频，并收集用户观看时的行为视频，由预设模型提取其中的视频特征；评估模块根据上述得到的特征，得到情绪分析数据及评估值。本发明的系统支持远程自测，医疗成本低，检测流程标准且客观。
-
公开(公告)号：CN117649861B
公开(公告)日：2024-08-20
申请号：CN202311430903.9
申请日：2023-10-31
Applicant: 北京邮电大学
Abstract: 本发明提供一种基于帧级别情感状态对齐的语音情感识别方法和系统，所述方法包括：利用预训练的语音情感识别模型对输入的语音数据进行语音情感识别，得到句子级别语音情感识别结果。其中，在所述语音情感识别模型的预训练过程中，对于训练集包含的语音数据提取帧级别深层情感表征，利用预训练的聚类模型基于帧级别深层情感表征推理得到帧级别情感伪标签，使用包含语音数据和其帧级别情感伪标签的训练集训练得到帧级别情感状态对齐模型，通过对所述帧级别情感状态对齐模型结合情感标签进行迁移学习训练得到所述语音情感识别模型。本发明能够解决语音样本中不一致帧的干扰，并避免成本昂贵的问题。
-
公开(公告)号：CN115414042B
公开(公告)日：2023-03-17
申请号：CN202211096131.5
申请日：2022-09-08
Applicant: 北京邮电大学
Abstract: 本发明提供一种基于情感信息辅助的多模态焦虑检测方法及装置，该方法包括：获取文本数据集和语音信号集；将各文本数据分别输入至文本情感数据清洗模型，得到各情感类别，并清洗掉情感类别与第一情感不一致的文本数据，得到第二文本数据集；将各语音信号分别输入至语音情感数据清洗模型，得到各语音信号对应的情感类别，清洗掉情感类别与第一情感不一致的语音信号，得到第二语音信号集；将第二文本数据集输入至文本焦虑检测模型，得到文本模态特征，将第二语音信号集输入至语音焦虑检测模型，得到语音模态特征，将文本模态特征和语音模态特征进行特征融合，并基于融合后的特征得到被测者的焦虑分类结果。该方法可准确的检测被测者的焦虑状态。
-
公开(公告)号：CN118430043B
公开(公告)日：2024-10-29
申请号：CN202410523477.1
申请日：2024-04-28
Applicant: 北京邮电大学
IPC: G06V40/16 , G06V10/774 , G06V10/82 , G06V10/764 , G06V10/80 , G06N3/048 , G06N3/0895 , G06N3/0442 , G06N3/084 , G10L25/63 , G10L25/57
Abstract: 本申请提供多模态情感识别模型训练方法、多模态情感识别方法及设备，方法包括：基于对比学习方式对多个情感识别对象各自对应的第一模态特征和第二模态特征进行情感信息对齐处理，采用难分样本挖掘方式和交叉注意力机制进行特征融合，采用融合特征对第一二分类器、第二二分类器和四分类器进行多任务联合训练，以使第一二分类器和第二二分类器用于识别融合特征是否匹配对应的情感标签，并将四分类器训练为用于识别情感识别对象所属情感类别的多模态情感识别模型。本申请能够有效提高模型整体的性能和泛化能力，并能够缓解训练过程中不同模态在对于情感识别任务贡献度不同的问题，能够辅助多模态信息融合提高情感识别的正确率和鲁棒性。
-
公开(公告)号：CN117649861A
公开(公告)日：2024-03-05
申请号：CN202311430903.9
申请日：2023-10-31
Applicant: 北京邮电大学
Abstract: 本发明提供一种基于帧级别情感状态对齐的语音情感识别方法和系统，所述方法包括：利用预训练的语音情感识别模型对输入的语音数据进行语音情感识别，得到句子级别语音情感识别结果。其中，在所述语音情感识别模型的预训练过程中，对于训练集包含的语音数据提取帧级别深层情感表征，利用预训练的聚类模型基于帧级别深层情感表征推理得到帧级别情感伪标签，使用包含语音数据和其帧级别情感伪标签的训练集训练得到帧级别情感状态对齐模型，通过对所述帧级别情感状态对齐模型结合情感标签进行迁移学习训练得到所述语音情感识别模型。本发明能够解决语音样本中不一致帧的干扰，并避免成本昂贵的问题。
-
-
-
-
-
-
Search Results
7
records
(took 0.018 seconds)
