基于人体骨架数据和语义关联的零样本行为识别方法

    公开(公告)号:CN116071573A

    公开(公告)日:2023-05-05

    申请号:CN202111583892.9

    申请日:2021-12-22

    Inventor: 孙宁 朱良伟 李响

    Abstract: 本发明是一种基于人体骨架数据和语义关联的零样本行为识别方法,包括:步骤1:使用训练好的骨架特征提取网络从骨架数据中提取视觉特征;步骤2:构建对抗生成网络模型和分类器网络;步骤3:训练对抗生成网络模型进行训练,特征生成网络生成可见类标签对应的视觉特征样本;步骤4:将不可见类数据的语义特征输入到特征生成网络不可见类标签对应的视觉特征样本,训练分类器网络;步骤5:识别未见类的行为样本时,先使用骨架特征提取网络从中提取视觉特征,然后输入到分类器网络中得到分类结果。本发明有效利用了短语在表征语义时各单词之间的语义关联,改善零样本行为识别中生成器的泛化能力较低的问题,提升分类器训练后对未见类的识别率。

    一种基于三维人脸特征重建和图深度学习的真实环境面部表情识别方法

    公开(公告)号:CN113989911A

    公开(公告)日:2022-01-28

    申请号:CN202111483036.6

    申请日:2021-12-07

    Abstract: 一种基于三维人脸特征重建和图深度学习的真实环境面部表情识别方法,通过建立的三维密集人脸重建网络以及端到端的可训练三维人脸特征重建与学习网络模型3DF‑RLN,由单独的2D人脸图像重构得到面部外观和面部几何特征,有效表征了面部表情信息。由面部几何特征得到基于人脸关键点的面部拓扑图,可以反映面部几何特征间的相关性,对面部表情识别及相关研究有重大意义。CNN网络有效提取面部外观特征中包含的表情信息,GCN网络有效提取面部几何特征中包含的信息。由通道注意和softmax构成的融合识别模块有效融合面部外观特征和面部几何特征中包含的互补信息,提高表情识别准确率。总体而言,本方法提高了面部表情识别的准确率,提高真实环境面部表情识别效果。

    一种无监督跨角度面部表情图像识别方法

    公开(公告)号:CN111860151A

    公开(公告)日:2020-10-30

    申请号:CN202010532746.2

    申请日:2020-06-12

    Abstract: 本发明公开了一种无监督跨角度面部表情图像识别方法,将由正脸表情图像训练得到的分类器迁移到侧脸图像域,实现侧脸表情图像的高精度识别。本方法是一种深度神经网络,称为无监督跨角度面部表情自适应网络。该网络使用两个生成对抗网络进行正脸图像和侧脸图像的循环生成,这种机制建立了两个对应的编码-解码对,完成由图像到高层语义特征再到图像的变换,从而得到表情图像的高维特征。正脸图像和侧脸图像在特征空间的分布差异要远小于两者在图像空间的分布差异,本方法在两者的特征空间进行半监督学习,完成由正脸图像分类向侧脸图像的领域自适应。此外,本发明还使用了合成侧脸图像质量评估,域平均脸和乒乓螺旋上升训练等技巧。

    一种基于多流快慢图卷积网络的人体骨骼行为识别方法

    公开(公告)号:CN111860128A

    公开(公告)日:2020-10-30

    申请号:CN202010503667.9

    申请日:2020-06-05

    Inventor: 孙宁 冷令 李晓飞

    Abstract: 本发明公开了一种基于多流快慢图卷积网络的人体骨骼行为识别方法。本发明涉及图像识别技术领域,本发明将快慢网络的思想与图卷积网络相结合,快网络可以有效提取骨骼序列的时间信息,慢网络可以有效期提取骨骼序列的空间信息,侧向连接的方式加强了两路网络之间的信息交互。通过应用不同的注意力机制加强了时空特征的提取和整合。由于采样和降低通道数的做法也大幅减少了计算量。通过引入多流结构,进一步增强了空间上的信息提取能力,提高了基于骨骼关节点的行为识别方法的识别率和鲁棒性。

    一种基于滤波器组的局部二值模式图像描述方法

    公开(公告)号:CN106503718B

    公开(公告)日:2019-11-22

    申请号:CN201610835140.X

    申请日:2016-09-20

    Abstract: 本发明公开了一种基于滤波器组的局部二值模式图像描述方法,包括:将输入的人脸图像进行分块获得若干图像块;对所述每个图像块进行基于滤波器组的卷积滤波,并分别卷积滤波处理后的每个图像块进行LBP编码,获得每个图像块的若干个FBLBP值;对每个图像块所得若干个FBLBP值进行统计,获得每种滤波器模式下的FBLBP直方图特征,并按顺序将滤波器组中所有滤波器模式下的FBLBP直方图特征组合成该图像块的FBLBP直方图特征;以及,依次提取每个图像块的FBLBP直方图特征,并串联起来构成该人脸图像的直方特征向量。本发明将局部图像与滤波器组卷积获得响应代替像素来对图像进行编码,获取图像的多尺度信息,使LBP算子更具有鲁棒性和抗干扰性,可增强LBP描述子对图像的表征能力。

    一种基于深层特征与浅层特征融合的人脸年龄估计方法

    公开(公告)号:CN106778584B

    公开(公告)日:2019-07-16

    申请号:CN201611120293.2

    申请日:2016-12-08

    Abstract: 本发明公开了一种基于深层特征与浅层特征融合的人脸年龄估计方法,包括:对人脸样本数据集中的每张人脸样本图像进行预处理;对构建的初始卷积神经网络训练,选取一个用于人脸识别的卷积神经网络;利用具备年龄标签值的人脸数据集对所选取的卷积神经网络进行微调处理,获得多个用于年龄估计的卷积神经网络;提取得到人脸图像所对应多层次的年龄特征,并将其作为深层特征输出;提取获得每个人脸图像的浅层特征HOG特征和LBP特征;构建深度置信网络将深层特征和浅层特征融合;根据深度置信网络中融合后的特征进行人脸图像的年龄回归估计,获得和输出年龄估计结果。本发明提高了年龄估计的准确度,具备高精度的人脸图像年龄识估计能力。

    一种红外图像目标显著性评估方法

    公开(公告)号:CN105513080B

    公开(公告)日:2019-05-03

    申请号:CN201510962050.2

    申请日:2015-12-21

    Abstract: 本发明公开了一种红外图像中目标显著性评估方法,属于视频图像处理技术领域,该方法可以有效地对红外图像中目标进行显著性评估。本发明采用一种基于超像素的中心环绕特征用于度量图中各个区域的显著性。使用了多层多尺度超像素分割机制对输入红外图像进行多尺度超像素分割,求得多层多尺度的图像分割结果。对于各层分割结果,本发明只合并相邻两个超像素,并与单个超像素组成潜在目标集合。然后使用上述中心环绕特征对所有潜在目标进行度量,最后对得到的显著性分数进行排序。本发明可以快速有效地定位红外图像中的感兴趣目标,在准确性和计算速度上具有较大优势。

    一种基于深度时空特征的高精度面部表情识别方法

    公开(公告)号:CN107316015A

    公开(公告)日:2017-11-03

    申请号:CN201710463130.2

    申请日:2017-06-19

    Inventor: 孙宁 李奇 李晓飞

    Abstract: 本发明公开了一种基于深度时空特征的高精度面部表情识别方法,该方法首先是设计了一种端到端可训练的多通道深度神经网络模型,该模型在低层利用多个并联的深度神经网络分别提取人脸表情图像的深度时空特征,然后在高层使用全连接层对多通道深度时空特征数据进行融合,最高层采用softmax层进行识别得到表情分类。该模型将图像特征提取和特征融合整合为一个可以进行全局训练的网络,加深了网络规模,提高了识别性能。第二个创新点是本发明使用平均脸来替代中性脸,这种做法解决了测试时表情图像缺少对应的中性脸图像的问题,使得本发明可以满足实际场合的应用。本发明在表情识别领域提供了一种新的思路,具有很高的实用价值和发展前景。

    一种基于行人检测的施工人员安全帽实时检测方法

    公开(公告)号:CN106548131A

    公开(公告)日:2017-03-29

    申请号:CN201610899506.X

    申请日:2016-10-14

    Inventor: 孙宁 李奇 李晓飞

    CPC classification number: G06K9/00362 G06K9/00711 G06K9/6212

    Abstract: 本发明公开了一种基于行人检测的施工人员安全帽实时检测方法,首先利用大量已标注样本对基于ACF特征提取的Adaboost分类器进行多次迭代训练;然后利用训练好的分类器对视频序列进行行人检测,确定目标的精确位置和数量;接着对检测结果进行轨迹分析,通过轨迹信息判断检测结果是否有误,对检测结果得分不高的情况,做丢弃处理,对得分较高的检测结果进行跟踪,利用检测结果中人体头部在检测结果顶部的特性,锁定安全帽所在部位,通过颜色空间转换,根据分离颜色通道统计像素信息,利用像素占比判断,最终实现安全帽检测。本发明对多种场景具有很好的鲁棒性,同时基于HSV空间的像素点统计检测方法,针对特定颜色的安全帽有很好的效果。

    一种基于滤波器组的局部二值模式图像描述方法

    公开(公告)号:CN106503718A

    公开(公告)日:2017-03-15

    申请号:CN201610835140.X

    申请日:2016-09-20

    Abstract: 本发明公开了一种基于滤波器组的局部二值模式图像描述方法,包括:将输入的人脸图像进行分块获得若干图像块;对所述每个图像块进行基于滤波器组的卷积滤波,并分别卷积滤波处理后的每个图像块进行LBP编码,获得每个图像块的若干个FBLBP值;对每个图像块所得若干个FBLBP值进行统计,获得每种滤波器模式下的FBLBP直方图特征,并按顺序将滤波器组中所有滤波器模式下的FBLBP直方图特征组合成该图像块的FBLBP直方图特征;以及,依次提取每个图像块的FBLBP直方图特征,并串联起来构成该人脸图像的直方特征向量。本发明将局部图像与滤波器组卷积获得响应代替像素来对图像进行编码,获取图像的多尺度信息,使LBP算子更具有鲁棒性和抗干扰性,可增强LBP描述子对图像的表征能力。

Patent Agency Ranking