一种微表情动作单元识别方法及系统

    公开(公告)号:CN114926886B

    公开(公告)日:2023-04-25

    申请号:CN202210599268.6

    申请日:2022-05-30

    Applicant: 山东大学

    Abstract: 本发明公开一种微表情动作单元识别方法及系统,包括:获取微表情视频的连续帧图像,对连续帧图像经预处理后,提取动态图;对动态图采用空间金字塔提取多层特征图,每层特征图经区域划分后,提取每个区域的局部特征图,根据每个区域的局部特征图及区域所在位置得到各层特征图的区域特征图;对各层特征图的区域特征图进行注意力特征提取,根据得到的注意力特征图确定面部动作单元,从而以此获取微表情类型。使用空间金字塔网络提取不同层的细微特征,使用区域特征网络捕获不同面部区域的局部外观变化,更加准确的识别微表情的动作单元。

    基于注意力机制和一维卷积滑窗的微表情发现方法及系统

    公开(公告)号:CN114842539B

    公开(公告)日:2023-04-07

    申请号:CN202210599250.6

    申请日:2022-05-30

    Applicant: 山东大学

    Abstract: 本发明公开一种基于注意力机制和一维卷积滑窗的微表情发现方法及系统,包括:获取视频流的连续帧图像,进行空间特征的提取,对空间特征进行全局特征和局部特征的提取;根据某一图像与其他图像的全局特征之间的相关度,以及局部特征之间的相关度,分别得到全局注意力权重和局部注意力权重,根据全局注意力权重和局部注意力权重分别得到全局注意力特征和局部注意力特征,将全局注意力特征和局部注意力特征融合得到注意力特征;采用一维卷积滑窗以设定步长和检测间隔在注意力特征中移动,以提取每个检测间隔内的特征,对每个检测间隔内的特征进行微表情识别,将检测间隔的微表情识别结果进行间隔分组,以更加准确的定位到真实的微表情位置。

    一种微表情动作单元识别方法及系统

    公开(公告)号:CN114926886A

    公开(公告)日:2022-08-19

    申请号:CN202210599268.6

    申请日:2022-05-30

    Applicant: 山东大学

    Abstract: 本发明公开一种微表情动作单元识别方法及系统,包括:获取微表情视频的连续帧图像,对连续帧图像经预处理后,提取动态图;对动态图采用空间金字塔提取多层特征图,每层特征图经区域划分后,提取每个区域的局部特征图,根据每个区域的局部特征图及区域所在位置得到各层特征图的区域特征图;对各层特征图的区域特征图进行注意力特征提取,根据得到的注意力特征图确定面部动作单元,从而以此获取微表情类型。使用空间金字塔网络提取不同层的细微特征,使用区域特征网络捕获不同面部区域的局部外观变化,更加准确的识别微表情的动作单元。

    一种语音谎言检测方法、装置、介质及设备

    公开(公告)号:CN116229992A

    公开(公告)日:2023-06-06

    申请号:CN202310177969.5

    申请日:2023-02-28

    Applicant: 山东大学

    Abstract: 本发明属于语音信号处理技术领域,提供了一种语音谎言检测方法、装置、介质及设备。其中,语音谎言检测方法,其包括获取待测语音信号并对其进行预处理;分解预处理后的待测语音信号,并从中筛选出有效信息,利用这些有效信息重构语音信号;从重构的语音信号中提取音频特征梅尔倒谱系数,并计算其一阶差分和二阶差分,再将提取的音频特征梅尔倒谱系数及其一阶差分和二阶差分进行堆叠,得到堆叠语音特征;从堆叠语音特征中提取基于时间序列的深度语音特征,将基于时间序列的深度语音特征进行时间递归处理,得到代表谎言与真话的概率,确定出谎言检测结果。

    基于注意力机制和一维卷积滑窗的微表情发现方法及系统

    公开(公告)号:CN114842539A

    公开(公告)日:2022-08-02

    申请号:CN202210599250.6

    申请日:2022-05-30

    Applicant: 山东大学

    Abstract: 本发明公开一种基于注意力机制和一维卷积滑窗的微表情发现方法及系统,包括:获取视频流的连续帧图像,进行空间特征的提取,对空间特征进行全局特征和局部特征的提取;根据某一图像与其他图像的全局特征之间的相关度,以及局部特征之间的相关度,分别得到全局注意力权重和局部注意力权重,根据全局注意力权重和局部注意力权重分别得到全局注意力特征和局部注意力特征,将全局注意力特征和局部注意力特征融合得到注意力特征;采用一维卷积滑窗以设定步长和检测间隔在注意力特征中移动,以提取每个检测间隔内的特征,对每个检测间隔内的特征进行微表情识别,将检测间隔的微表情识别结果进行间隔分组,以更加准确的定位到真实的微表情位置。

Patent Agency Ranking