公开(公告)号：CN118447554A

公开(公告)日：2024-08-06

申请号：CN202410573512.0

申请日：2024-05-10

Applicant: 南京工业大学

Inventor： 王莉 ,  王康宁 ,  薛旻昊 ,  蒋顺举 ,  沈捷

IPC: G06V40/16 ,  G06V20/40 ,  G06V10/44 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于梯度动态调节的多模态情感识别方法及装置，其方法包括获取待识别的多模态情感识别数据；将预处理后的多模态情感识别数据输入训练好的多模态情感识别模型，获取多模态情感识别结果；其中，多模态情感识别模型的训练过程包括：获取带真实标签的多模态情感识别数据作为训练样本；构建多模态情感识别模型，将预处理后的训练样本输入构建的多模态情感识别模型进行训练，基于梯度动态调节策略更新模型参数直至模型参数收敛或达到最大迭代次数；本发明提供的梯度动态调节策略在训练过程中动态调节不同模态参数的梯度，使得多模态的参数调节速度接近，确保其均衡优化，提高了多模态情感识别模型的准确率。

公开(公告)号：CN118410387A

公开(公告)日：2024-07-30

申请号：CN202410667871.2

申请日：2024-05-28

Applicant: 南京工业大学

Inventor： 王莉 ,  王康宁 ,  薛旻昊 ,  蒋顺举 ,  沈捷

IPC: G06F18/24 ,  G10L25/63 ,  G06F18/25 ,  G06V40/16 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明提供一种基于互信息的多模态情感识别方法及系统，方法包括获取视频数据和音频数据；根据所述视频数据和音频数据以及已经训练好的多模态情感识别模型，获得情感分类结果；其中，在所述多模态情感识别模型中，定义总体损失函数，基于得到的总体损失，训练多模态情感识别模型；所述总体损失函数由单模态特有信息学习损失函数、模态间的共同信息学习损失函数、多模态融合特征最小充分表示损失函数、情感识别分类损失函数组成。本发明利用互信息剔除冗余信息、提取相关信息，并挖掘不同模态之间的互补性，提高了多模态情感识别精度。

公开(公告)号：CN118823440A

公开(公告)日：2024-10-22

申请号：CN202410804059.X

申请日：2024-06-20

Applicant: 南京工业大学

Inventor： 王莉 ,  蒋顺举 ,  薛旻昊 ,  王康宁 ,  沈捷

IPC: G06V10/764 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供一种多模态MRI图像分类识别方法。首先，获取带真实标签的脑部多模态MRI数据集作为训练样本；对获取的sMRI和fMRI数据预处理；构建多模态MRI数据分类识别模型；将预处理后的所述数据输入构建的多模态MRI数据分类识别模型进行训练；获取待识别的多模态MRI数据，对所述多模态数据进行预处理；将预处理后待识别的sMRI和fMRI数据输入训练好的多模态MRI分类识别模型，获取多模态MRI数据分类识别结果；本发明提出的一种多模态MRI图像分类识别方法，在减小sMRI和fMRI两种不同模态间分布差异的同时，可以减小不同模态收敛速度差异，有效地减轻了不同模态之间的异质性，充分利用了不同模态的互补性，得到了丰富的特征信息，提升了多模态MRI图像分类识别模型的性能。