-
公开(公告)号：CN113274023B
公开(公告)日：2021-12-14
申请号：CN202110732115.X
申请日：2021-06-30
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供基于多角度分析的多模态精神状态评估的方法，包括：从原始视频中采集音频文件和视频文件，并对所述音频文件和视频文件进行数据预处理：从音频文件中提取时域波形点和梅尔频率倒谱系数作为音频特征；将图片序列输入到预训练网络，得到视频编码向量；提取图片序列的人脸运动单元；将视频编码向量和人脸运动单元作为视频特征；将音频特征和视频特征分别输入抑郁分析模块、焦虑分析模块和压力分析模块进行多角度分析，得到抑郁特征、焦虑特征和压力特征；将所述抑郁特征、焦虑特征和压力特征输入到融合分析模块进行注意力特征融合，得到融合特征；将融合特征输入支持向量回归，评估音频文件和视频文件中个体的精神状态。
-
Patent Agency Ranking
公开(公告)号：CN112560811A
公开(公告)日：2021-03-26
申请号：CN202110188624.0
申请日：2021-02-19
Applicant: 中国科学院自动化研究所
Abstract: 本申请涉及端到端的音视频抑郁症自动检测研究方法，包括：采集音频文件和视频文件中包含有长时音频文件和长时视频文件这两个模态的原始数据；音频文件和视频文件预处理：将长时音频文件切分成若干个音频段，同时将长时视频文件切分成具有固定帧数的多个视频段；将每一个音频段和视频段分别输入音频特征提取网络和视频特征提取网络，得到音频深度特征和视频深度特征；使用多头注意力机制对深度音频特征和深度视频特征进行计算，得到注意力音频特征和注意力视频特征；将注意力音频特征和注意力视频特征通过特征聚合模块聚合成音视频特征；将音视频特征输入决策网络，预测音视频文件中的个体的抑郁水平。
-
公开(公告)号：CN112687390A
公开(公告)日：2021-04-20
申请号：CN202110270093.X
申请日：2021-03-12
Applicant: 中国科学院自动化研究所
Abstract: 本申请涉及一种基于混合网络和lp范数池化的抑郁状态检测方法及装置，包括：对长时语音的对数傅里叶幅值谱进行切割，得到由短时谱段构成的短时谱段集合；将短时谱段输入到卷积神经网络和长短期记忆网络中进行训练，得到空间特征和时序特征，并将空间特征和时序特征的拼接作为短时谱段的时空特征表示；得到所有短时谱段的时空特征表示，排列成矩阵的形式，计算其lp范数池化结果；将lp范数池化结果放入到套索回归框架下进行优化以找到适合于抑郁检测任务的范数池化类型和线性变换矩阵；利用优化结果对所有短时谱段进行特征选择，生成长时谱表示；将混合网络预测结果的中值和长时谱表示经过支持向量回归得到的结果取平均值作为最终的预测结果。
-
公开(公告)号：CN113274023A
公开(公告)日：2021-08-20
申请号：CN202110732115.X
申请日：2021-06-30
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供基于多角度分析的多模态精神状态评估的方法，包括：从原始视频中采集音频文件和视频文件，并对所述音频文件和视频文件进行数据预处理：从音频文件中提取时域波形点和梅尔频率倒谱系数作为音频特征；将图片序列输入到预训练网络，得到视频编码向量；提取图片序列的人脸运动单元；将视频编码向量和人脸运动单元作为视频特征；将音频特征和视频特征分别输入抑郁分析模块、焦虑分析模块和压力分析模块进行多角度分析，得到抑郁特征、焦虑特征和压力特征；将所述抑郁特征、焦虑特征和压力特征输入到融合分析模块进行注意力特征融合，得到融合特征；将融合特征输入支持向量回归，评估音频文件和视频文件中个体的精神状态。
-
公开(公告)号：CN112560811B
公开(公告)日：2021-07-02
申请号：CN202110188624.0
申请日：2021-02-19
Applicant: 中国科学院自动化研究所
Abstract: 本申请涉及端到端的音视频抑郁症自动检测研究方法，包括：采集音频文件和视频文件中包含有长时音频文件和长时视频文件这两个模态的原始数据；音频文件和视频文件预处理：将长时音频文件切分成若干个音频段，同时将长时视频文件切分成具有固定帧数的多个视频段；将每一个音频段和视频段分别输入音频特征提取网络和视频特征提取网络，得到音频深度特征和视频深度特征；使用多头注意力机制对深度音频特征和深度视频特征进行计算，得到注意力音频特征和注意力视频特征；将注意力音频特征和注意力视频特征通过特征聚合模块聚合成音视频特征；将音视频特征输入决策网络，预测音视频文件中的个体的抑郁水平。
-
公开(公告)号：CN112687390B
公开(公告)日：2021-06-18
申请号：CN202110270093.X
申请日：2021-03-12
Applicant: 中国科学院自动化研究所
Abstract: 本申请涉及一种基于混合网络和lp范数池化的抑郁状态检测方法及装置，包括：对长时语音的对数傅里叶幅值谱进行切割，得到由短时谱段构成的短时谱段集合；将短时谱段输入到卷积神经网络和长短期记忆网络中进行训练，得到空间特征和时序特征，并将空间特征和时序特征的拼接作为短时谱段的时空特征表示；得到所有短时谱段的时空特征表示，排列成矩阵的形式，计算其lp范数池化结果；将lp范数池化结果放入到套索回归框架下进行优化以找到适合于抑郁检测任务的范数池化类型和线性变换矩阵；利用优化结果对所有短时谱段进行特征选择，生成长时谱表示；将混合网络预测结果的中值和长时谱表示经过支持向量回归得到的结果取平均值作为最终的预测结果。
-
-
-
-
-
Search Results
6
records
(took 0.024 seconds)
