公开(公告)号：CN119949829A

公开(公告)日：2025-05-09

申请号：CN202411799645.6

申请日：2024-12-09

Applicant: 上海大学

Inventor： 蒋皆恢 ,  宋子彦 ,  许召辉

IPC: A61B5/16 ,  A61B5/11 ,  A61B3/113 ,  A61B5/369 ,  A61B5/00 ,  G16H50/20 ,  G16H50/70 ,  G06F18/21 ,  G06F18/25 ,  G06N3/045 ,  G06N3/042

Abstract: 本发明公开了一种基于多模态异构图卷积神经网络的情绪障碍检测方法，包括采集了受试者的脑电、表情图片、眼动数据和步态视频帧数据，通过异步时间序列跨模态对齐与组水平对齐的方法对齐数据。接着，利用多模态特征的低秩矩阵分解对每个模态的数据进行分解，并与神经激活通路进行不同任务的对齐；对每条通路进行异构图卷积通路路径编码并嵌入模态，最后对得到的数据流进行轻量化的跨模态融合。本发明还提供了一种情绪障碍检测装置。本发明所提供的方法通过采集的多模态数据包括脑电、眼动、微表情和步态信息，实现情绪障碍类型的识别。