公开(公告)号：CN118486459A

公开(公告)日：2024-08-13

申请号：CN202410604088.1

申请日：2024-05-15

Applicant: 华南理工大学

Inventor： 胡滨 ,  周龙辉 ,  关治洪

IPC: G16H50/30 ,  G16H50/20 ,  G16H20/70 ,  G06F40/211 ,  G06F40/284 ,  G06F40/289 ,  G06F17/13 ,  G06F17/16 ,  G06F17/18 ,  G06F40/247 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/084

Abstract: 本发明公开了多模态抑郁风险评估方法、装置、系统、介质和训练方法，包括：获取音频数据，从音频数据中得到文本数据，根据文本数据得到句子向量，根据句子向量得到文本注意力权重，根据句子向量和文本注意力权重得到文本特征，句子向量包括正向向量和反向向量，根据音频数据得到音频特征矩阵，将音频特征矩阵转换成二维热图，根据二维热图得到音频数据的第一音频特征，音频特征矩阵包括若干个第二音频特征，根据第一音频特征和文本特征得到第一协同注意力权重，根据第一协同注意力权重、第一音频特征和文本特征得到新的特征，根据新的特征得到抑郁风险评估结果。本发明可以提高抑郁风险评估结果的准确度，可应用于多模态数据处理技术领域。