公开(公告)号：CN102930297A

公开(公告)日：2013-02-13

申请号：CN201210435946.1

申请日：2012-11-05

Applicant: 北京理工大学

Inventor： 吕坤 ,  张欣 ,  贾云得

IPC: G06K9/62 ,  G06K9/66

Abstract: 本发明提出的一种基于增强耦合HMM的语音-视觉融合的情感识别方法，属于自动情感识别领域。本发明方法融合了脸部表情和语音两种特征流，使用改进的EM算法训练连续型二分量耦合HMM，训练时考虑并不断更新各样本的权重，使得训练过程偏重于难于识别的样本。本发明方法与已有识别方法相比明显提高了分类的准确度。

公开(公告)号：CN102004549B

公开(公告)日：2012-05-09

申请号：CN201010558253.2

申请日：2010-11-22

Applicant: 北京理工大学

Inventor： 吕坤 ,  贾云得 ,  张欣

IPC: G06F3/01 ,  G06K9/00 ,  H04N7/18

Abstract: 一种自动唇语识别系统，包括：头戴式摄像头、人机交互模块、唇部轮廓定位模块、几何向量获取模块、运动向量获取模块、特征矩阵构造模块、变换矩阵T获取模块、转换特征矩阵获取模块、存储器A、存储器B、典型相关判别分析模块。头戴式摄像头用来录制汉字发音图像序列，通过人机交互模块传输至唇部轮廓定位模块，其使用卷积虚拟静电场Snake模型从中检测及跟踪唇部轮廓；几何向量获取模块和运动向量获取模块从唇部轮廓中分别提取出几何和运动特征，并将它们联合起来作为典型相关判别分析模块的输入特征矩阵；典型相关判别分析模块计算特征矩阵间的相似度，处理后获取识别结果。本发明系统与已有唇语识别系统相比较，具有更高的识别准确率。

公开(公告)号：CN101908149A

公开(公告)日：2010-12-08

申请号：CN201010218543.2

申请日：2010-07-06

Applicant: 北京理工大学

Inventor： 吕坤 ,  张欣

IPC: G06K9/64

Abstract: 本发明涉及一种从人脸图像序列中识别脸部表情的方法，属于人脸表情分析与识别技术领域。本发明使用脸部特征点跟踪的方法针对表情图像序列中的每一帧图像依次提取归一化的脸部关键点位移量和特定几何特征的长度，将这些数据组成一个特征列向量；序列中的所有特征列向量按次序排列形成一个特征矩阵，每个特征矩阵代表一个脸部表情图像序列；然后利用典型相关分析方法比较特征矩阵之间的相似性，从而将待识别人脸图像确定为高兴、悲伤、恐惧、厌恶、惊讶和生气基本表情之一。本发明将典型相关分析方法成功运用到人脸表情识别中，有效地利用了表情产生过程中的动态信息，并获取了较高的识别率和较少的CPU运算时间。