公开(公告)号：CN117219265A

公开(公告)日：2023-12-12

申请号：CN202311283024.8

申请日：2023-10-07

Applicant: 东北大学秦皇岛分校

Inventor： 邹智恺 ,  张华伟 ,  赵银凇 ,  杨刚 ,  赵玉良 ,  吕晓永

IPC: G16H50/20 ,  G16H10/60 ,  G16H20/70 ,  G06F18/25

Abstract: 本发明属于计算机技术领域，其公开了多模态数据分析方法、装置、存储介质和设备。方法包括：获取待测试用户的多模态数据，多模态数据包含：行走时的步态数据和就诊时的音频数据与视频数据；对步态数据、音频数据和视频数据分别进行频谱分析处理，得到步态频谱图、音频频谱图和视频频谱图；基于完成训练的机器学习模型，对步态频谱图、音频频谱图和视频频谱图进行处理，得到多模态数据分析结果。装置包括：数据获取模块、频谱图得到模块和结果得到模块。通过上述技术方案提高了对多模态数据分析的适用性。

公开(公告)号：CN117898727A

公开(公告)日：2024-04-19

申请号：CN202410079618.5

申请日：2024-01-19

Applicant: 东北大学秦皇岛分校

Inventor： 邹智恺 ,  李建 ,  尚明英 ,  吕晓永 ,  许嘉桐 ,  赵银凇

IPC: A61B5/16 ,  G06V40/20 ,  G06V40/16 ,  G06V10/82 ,  G06V10/764 ,  G06V10/766 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/0464 ,  A61B5/11 ,  A61B5/00

Abstract: 本发明涉及抑郁症检测技术领域，尤其涉及一种基于步态和面部表情变化分析的抑郁症检测方法。包括以下步骤:获取待测用户行走时的步态数据及面部表情变化视频；对所述步态数据进行特征图像编码处理，获得步态特征图像；对所述面部表情变化视频进行特征图像编码处理，获得面部表情特征图像；基于完成训练的CNN‑LSTM模型，对所述步态特征图像和面部表情特征图像进行处理，得到预测结果。本发明提出了一种基于步态和面部表情变化分析的抑郁症检测方法，有效提高了抑郁症检测的准确度。