-
公开(公告)号:CN111401303A
公开(公告)日:2020-07-10
申请号:CN202010267353.3
申请日:2020-04-08
Applicant: 山东大学
Abstract: 本发明提供了一种身份与视角特征分离的跨视角步态识别方法,包括:A、搭建步态身份特征和视角特征分离网络:包括视角编码器、身份编码器以及步态解码器;B、构建跨视角训练数据列表:根据步态能量图的标签,离线地选择三元组来构建跨视角训练数据列表;C、训练步态身份特征和视角特征分离网络:根据步态身份特征和视角特征分离网络及跨视角训练数据列表,获取损失函数,优化步态身份特征和视角特征分离网络;D、识别跨视角步态:根据训练好的步态身份特征和视角特征分离网络,取出身份编码器,进行步态识别。本发明解决了步态识别中的视角变化所引起的识别率低的问题,提升了步态识别的精度。
-
公开(公告)号:CN111582212B
公开(公告)日:2023-04-18
申请号:CN202010410345.X
申请日:2020-05-15
Applicant: 山东大学
Abstract: 本发明涉及一种基于运动单元的多域融合微表情检测方法,包含:(1)对微表情视频进行预处理,包括获取视频帧序列、人脸检测与定位、人脸对齐;(2)对视频帧序列进行运动单元检测,获取视频帧序列的运动单元信息;(3)根据运动单元信息,通过半决策算法,找到包含微表情运动单元信息量ME最多的一个面部运动单元子块作为微表情检测区域,同时,通过设置动态阈值,提取微表情运动单元信息量ME的若干峰值帧作为微表情检测的参考高潮帧;(4)通过多域融合的微表情检测方法实现微表情的检测。本发明减少了冗余信息对微表情检测的影响,减少计算量,使微表情检测更具有综合判别力。计算速度快,微表情检测精度高。
-
公开(公告)号:CN110210429B
公开(公告)日:2022-11-29
申请号:CN201910490854.5
申请日:2019-06-06
Applicant: 山东大学
Abstract: 本发明涉及一种基于光流、图像、运动对抗生成网络提高焦虑、抑郁、愤怒表情识别正确率的方法,设计了两个生成器,三个判别器,生成器包括图像生成器和运动生成器,判别器包括图像判别器、运动判别器和光流判别器,运动生成器生成运动特征向量,图片生成器生成表情序列,图像判别器判断生成视频图片内容的真假,运动判别器判别生成视频运动轨迹的是否符合运动规律,光流判别器判定生成的视频是否符合焦虑、抑郁、愤怒表情的光流变化规律,使生成视频的脸部运动更加连贯和真实,判别器将判别的结果返回图像生成器,生成器修改生成的视频使判别器的结果更好,通过多次迭代,生成以假乱真的表情视频片,提高了视频的分辨率和真实度,鲁棒性高。
-
公开(公告)号:CN113221639A
公开(公告)日:2021-08-06
申请号:CN202110354027.0
申请日:2021-04-01
Applicant: 山东大学
Abstract: 本发明涉及一种基于多任务学习的代表性AU区域提取的微表情识别方法,包括:A、对微表情视频进行预处理;B、获取AU区域的位置,得到最具代表性的AU区域;C、划分训练集和测试集;D、训练AU掩膜特征提取网络模型;E、送入训练好的AU掩膜特征提取网络,得到只包含代表性AU的人脸图像序列;F、训练包含非局部模块的3D‑ResNet网络;G、送入包含非局部模块的3D‑ResNet网络,得到分类准确率。本发明考虑了不同AU对微表情识别的贡献,还解决了微表情样本不足的问题,增加了训练样本的数量,提高了微表情的识别性能。
-
公开(公告)号:CN110958417A
公开(公告)日:2020-04-03
申请号:CN201911294549.5
申请日:2019-12-16
Applicant: 山东大学
IPC: H04N7/14 , H04N21/4788 , H04N5/21 , H04N21/44
Abstract: 本发明涉及一种基于语音线索的视频通话类视频去除压缩噪声的方法,包括:A、构建数据集和数据预处理;B、建立基于语音线索的视频压缩噪声去除模型:构建语音特征编码器模型、带有语音线索的生成式视频压缩噪声去除模型、图像真实性判别器、视频连续性判别器;构造整体损失函数以进行后续模型优化;C、训练基于语音线索的视频压缩噪声去除模型;D、测试基于语音线索的视频压缩噪声去除模型的去噪效果,根据训练好的去噪模型,将低码率低质量的视频通话类视频及对应语音信号输入到模型当中,输出去除了压缩噪声高质量视频。本发明将语音信号作为视频通话类视频去压缩噪声重要线索,得到更好的视频恢复效果。
-
公开(公告)号:CN110210429A
公开(公告)日:2019-09-06
申请号:CN201910490854.5
申请日:2019-06-06
Applicant: 山东大学
Abstract: 本发明涉及一种基于光流、图像、运动对抗生成网络提高焦虑、抑郁、愤怒表情识别正确率的方法,设计了两个生成器,三个判别器,生成器包括图像生成器和运动生成器,判别器包括图像判别器、运动判别器和光流判别器,运动生成器生成运动特征向量,图片生成器生成表情序列,图像判别器判断生成视频图片内容的真假,运动判别器判别生成视频运动轨迹的是否符合运动规律,光流判别器判定生成的视频是否符合焦虑、抑郁、愤怒表情的光流变化规律,使生成视频的脸部运动更加连贯和真实,判别器将判别的结果返回图像生成器,生成器修改生成的视频使判别器的结果更好,通过多次迭代,生成以假乱真的表情视频片,提高了视频的分辨率和真实度,鲁棒性高。
-
公开(公告)号:CN113468907B
公开(公告)日:2023-08-29
申请号:CN202010233667.1
申请日:2020-03-30
Applicant: 山东大学
IPC: G06V40/16 , G06V20/40 , G06V10/50 , G06V10/77 , G06V10/764
Abstract: 本发明提出一种基于积分投影结合双交叉模式直方图的焦虑、抑郁、愤怒情绪识别方法,用于焦虑、抑郁、愤怒三类情绪的表情识别。克服了由于焦虑、抑郁、愤怒表情相似性强,数量少等所造成的表情难以区分识别的问题。通过将人脸选取27块关键表情区域,并将保留面部表情形状属性的整体投影与跨空间和时间域的双交叉模式结合在一起,进行基于边界Fisher的判别分析,以提取面部表情识别关键信息,最后通过支持向量机进行识别分类,达到了比较理想的识别结果。实验结果表明,所提出的特征方法优于目前最先进的方法。更重要的是,该方法是基于表情视频片段的识别,而不是单张图片的表情识别,这更能发现表情在视频前后帧的差异,对于识别也更有效。
-
公开(公告)号:CN113435225B
公开(公告)日:2022-07-12
申请号:CN202010205355.X
申请日:2020-03-23
Applicant: 山东大学
IPC: G06V40/20 , G06V10/774 , G06V10/80 , G06K9/62
Abstract: 本发明提供了一种基于分块水平金字塔时空特征融合模型和步态重排序的跨视角步态识别方法,包括:获取训练样本集,构建三元组组合,预处理后构建分块水平金字塔时空特征融合模型并训练;获取注册样本集、待识别步态样本,预处理后进行初步步态识别:将注册样本集和待识别身份的步态样本送入训练好的分块水平金字塔时空特征融合模型中得到注册特征库和步态特征,通过欧式距离计算得到初步候选身份的候选集合;根据候选集合,计算互近邻特征集合,输出欧式距离最近的特征所对应的样本的身份为待识别样本的身份,得到最终的识别结果。本发明对时空特征进行融合,能在较低的计算复杂度且不增加学习参数的情况下将时空特征融合到一起,识别率高。
-
公开(公告)号:CN111401303B
公开(公告)日:2022-06-14
申请号:CN202010267353.3
申请日:2020-04-08
Applicant: 山东大学
Abstract: 本发明提供了一种身份与视角特征分离的跨视角步态识别方法,包括:A、搭建步态身份特征和视角特征分离网络:包括视角编码器、身份编码器以及步态解码器;B、构建跨视角训练数据列表:根据步态能量图的标签,离线地选择三元组来构建跨视角训练数据列表;C、训练步态身份特征和视角特征分离网络:根据步态身份特征和视角特征分离网络及跨视角训练数据列表,获取损失函数,优化步态身份特征和视角特征分离网络;D、识别跨视角步态:根据训练好的步态身份特征和视角特征分离网络,取出身份编码器,进行步态识别。本发明解决了步态识别中的视角变化所引起的识别率低的问题,提升了步态识别的精度。
-
公开(公告)号:CN111582212A
公开(公告)日:2020-08-25
申请号:CN202010410345.X
申请日:2020-05-15
Applicant: 山东大学
IPC: G06K9/00
Abstract: 本发明涉及一种基于运动单元的多域融合微表情检测方法,包含:(1)对微表情视频进行预处理,包括获取视频帧序列、人脸检测与定位、人脸对齐;(2)对视频帧序列进行运动单元检测,获取视频帧序列的运动单元信息;(3)根据运动单元信息,通过半决策算法,找到包含微表情运动单元信息量ME最多的一个面部运动单元子块作为微表情检测区域,同时,通过设置动态阈值,提取微表情运动单元信息量ME的若干峰值帧作为微表情检测的参考高潮帧;(4)通过多域融合的微表情检测方法实现微表情的检测。本发明减少了冗余信息对微表情检测的影响,减少计算量,使微表情检测更具有综合判别力。计算速度快,微表情检测精度高。
-
-
-
-
-
-
-
-
-