基于线索神经网络的语音-视觉融合情感识别方法

    公开(公告)号:CN103400145A

    公开(公告)日:2013-11-20

    申请号:CN201310304011.4

    申请日:2013-07-19

    Inventor: 吕坤 张欣

    Abstract: 本发明提出的一种基于线索神经网络的语音-视觉融合情感识别方法,属于自动情感识别领域。其基本思想是:首先,分别使用人的正面脸部表情、侧面脸部表情和语音三个通道的特征数据,独立地训练一个神经网络来执行离散的情感类别的识别,训练过程中神经网络模型中的输出层加入4个线索(hint)节点,分别承载活跃度-评价度(activation-evaluation)空间中的4个粗粒度类别的线索(hint)信息。在线索信息的帮助下,神经网络权重的学习会产生更优的特征选择。然后,使用多模态融合模型对三个神经网络的输出结果进行融合,多模态融合模型也采用基于线索信息训练的神经网络。该方法具有较低的计算量,识别率高且鲁棒性好。对于训练数据较少的情况,效果更加明显。

    基于多层增强HMM的语音-视觉融合的情感识别方法

    公开(公告)号:CN102930298A

    公开(公告)日:2013-02-13

    申请号:CN201210459172.6

    申请日:2012-11-15

    Abstract: 本发明提出的一种基于多层增强HMM(MBHMM)的语音-视觉融合的情感识别方法,属于自动情感识别领域。本发明方法中提出的MBHMM分类器包括3层整体分类器,每层整体分类器由从左向右的多个连续型HMM分量分类器组合而成。使用情绪视频中的语音、脸部表情、肩部运动三种特征流分别作为3层整体分类器的输入,在训练整体分类器时通过AdaBoost方法不断更新各样本的权重,同时通过AdaBoost方法确保在使用某一特征流训练当前层整体分类器时着重于前一特征流的整体分类器难于识别的样本。本发明方法与已有识别方法相比较明显提高了分类的准确度。

    一种双通道信息融合的情感识别方法

    公开(公告)号:CN102819744A

    公开(公告)日:2012-12-12

    申请号:CN201210225169.8

    申请日:2012-06-29

    Inventor: 吕坤 贾云得 张欣

    Abstract: 本发明提出的一种双通道信息融合的情感识别方法,属于自动情感识别领域。其基本思想是:从情感视频数据中提取脸部表情和语音特征数据;然后使用脸部表情特征数据初始化Boltzmann拉链中慢链的可见节点的状态值;使用语音特征数据初始化Boltzmann拉链中快链的可见节点的状态值,对BOLTZMANN拉链进行训练;使用训练好的BOLTZMANN拉链识别情感视频的情感类别。本发明使用Boltzmann拉链来融合紧密耦合的语音-视觉模态,有效利用了两个通道的内在关联,解决了两个通道数据不同的时间尺度问题,并在训练过程中避免了局部能量极小,实验结果证明了该方法的高准确率和有效性。

    一种应用软件通信协议特征的描述方法

    公开(公告)号:CN101710898A

    公开(公告)日:2010-05-19

    申请号:CN200910237433.8

    申请日:2009-11-06

    Abstract: 本发明涉及一种应用软件通信协议特征的描述方法,属于网络信息安全技术领域。本发明使用的前提是已从捕获的网络数据包中分析获得需要识别的应用软件通信协议的特征,然后使用本发明提出的方法对该应用软件通信协议特征进行描述,以便准确的实现对该应用软件通信协议的识别。本发明对应用软件通信协议特征进行了明确的分类和定义,具有逻辑严密、结构严谨、适用范围广、可扩展性好等特点。将本发明提出的方法用于应用软件通信协议识别时,具有高效、准确、实时、可扩展等优点。

    一种飞行器编队位置重构解析优化方法

    公开(公告)号:CN115755984A

    公开(公告)日:2023-03-07

    申请号:CN202211669421.4

    申请日:2022-12-23

    Abstract: 本发明公开了一种飞行器编队位置重构解析优化方法,涉及飞行器协同制导与控制技术领域。结合飞行器原位置和新位置之间的距离、速度矢量前置角两种因素,评估单个飞行器从原位置到达新位置的个体收益,根据个体收益对方案进行初步筛选,获得初筛方案,并计算方案个体收益,以最后一个飞行器到新位置与第一个飞行器到新位置的时间差值乘比例系数,作为方案的时间协同收益,以各飞行器飞到新位置的飞行轨迹中的轨迹交叉数量评估方案的轨迹交叉收益。根据时间协同收益和轨迹交叉收益,计算方案的协同收益。方案个体收益和协同收益加权求和得到综合收益,选取综合收益最大的方案作为最终的飞行器编队位置重构方案。

    一种基于AdaFM-Net的太赫兹聚焦层析图像重构方法

    公开(公告)号:CN111652949A

    公开(公告)日:2020-09-11

    申请号:CN202010303038.1

    申请日:2020-04-17

    Abstract: 本发明公开了一种基于AdaFM-Net的太赫兹聚焦层析图像重构方法,首先建立聚焦层析图像的成像退化模型,进而根据成像距离确定太赫兹层析像的退化等级;利用最高退化等级数据集对AdaFM-Net可调卷积神经网络除插值层以外的其它层参数进行训练,将网络的复原能力匹配到最高退化等级L1,然后利用最低退化等级数据集对插值层参数训练,使网络的复原能力匹配到最低的退化等级L2,进而通过插值实现网络复原能力从L1到L2的连续调节;最后,基于太赫兹图像,完成网络插值系数与太赫兹聚焦层析图像测试距离的对应,进而匹配地对太赫兹聚焦层析图像进行重构,取得更好的图像重构效果,并使处理后的不同成像距离的太赫兹图像空间分辨率相统一,有效地提升并统一其空间分辨率。

    基于增强耦合HMM的语音-视觉融合的情感识别方法

    公开(公告)号:CN102930297A

    公开(公告)日:2013-02-13

    申请号:CN201210435946.1

    申请日:2012-11-05

    Inventor: 吕坤 张欣 贾云得

    Abstract: 本发明提出的一种基于增强耦合HMM的语音-视觉融合的情感识别方法,属于自动情感识别领域。本发明方法融合了脸部表情和语音两种特征流,使用改进的EM算法训练连续型二分量耦合HMM,训练时考虑并不断更新各样本的权重,使得训练过程偏重于难于识别的样本。本发明方法与已有识别方法相比明显提高了分类的准确度。

    一种适用于中文的自动唇语识别系统

    公开(公告)号:CN102004549B

    公开(公告)日:2012-05-09

    申请号:CN201010558253.2

    申请日:2010-11-22

    Inventor: 吕坤 贾云得 张欣

    Abstract: 一种自动唇语识别系统,包括:头戴式摄像头、人机交互模块、唇部轮廓定位模块、几何向量获取模块、运动向量获取模块、特征矩阵构造模块、变换矩阵T获取模块、转换特征矩阵获取模块、存储器A、存储器B、典型相关判别分析模块。头戴式摄像头用来录制汉字发音图像序列,通过人机交互模块传输至唇部轮廓定位模块,其使用卷积虚拟静电场Snake模型从中检测及跟踪唇部轮廓;几何向量获取模块和运动向量获取模块从唇部轮廓中分别提取出几何和运动特征,并将它们联合起来作为典型相关判别分析模块的输入特征矩阵;典型相关判别分析模块计算特征矩阵间的相似度,处理后获取识别结果。本发明系统与已有唇语识别系统相比较,具有更高的识别准确率。

    一种从人脸图像序列中识别脸部表情的方法

    公开(公告)号:CN101908149A

    公开(公告)日:2010-12-08

    申请号:CN201010218543.2

    申请日:2010-07-06

    Inventor: 吕坤 张欣

    Abstract: 本发明涉及一种从人脸图像序列中识别脸部表情的方法,属于人脸表情分析与识别技术领域。本发明使用脸部特征点跟踪的方法针对表情图像序列中的每一帧图像依次提取归一化的脸部关键点位移量和特定几何特征的长度,将这些数据组成一个特征列向量;序列中的所有特征列向量按次序排列形成一个特征矩阵,每个特征矩阵代表一个脸部表情图像序列;然后利用典型相关分析方法比较特征矩阵之间的相似性,从而将待识别人脸图像确定为高兴、悲伤、恐惧、厌恶、惊讶和生气基本表情之一。本发明将典型相关分析方法成功运用到人脸表情识别中,有效地利用了表情产生过程中的动态信息,并获取了较高的识别率和较少的CPU运算时间。

Patent Agency Ranking