基于多特征融合的视频描述方法

    公开(公告)号:CN107256221A

    公开(公告)日:2017-10-17

    申请号:CN201710281305.8

    申请日:2017-04-26

    Applicant: 苏州大学

    Abstract: 本发明公开了一种基于多特征融合的视频描述方法,其特征在于:1)通过融合传统CNN特征和SIFT流特征提取视频的深层时空特征;2)根据步骤1)提取的深层时空特征,采用加入以平均池化特征作为视频整体特征的S2VT句子生成模型生成相应的句子描述;3)采用word2vec词向量替换one‑hot vector词表征优化步骤2)中的句子生成模型。本方法优点是通过多特征融合,能更好地提取到更加鲁棒的时空特征,同时在句子生成模型中加入平均池化特征,以便视觉信息与单词间建立更多联系,最后采用word2vec词向量方法替换one‑hot vector词表征,在单词与单词之间建立更多的联系,有效提高视频描述性能。

    一种用于视频的基于双向长短时记忆单元的行为识别方法

    公开(公告)号:CN106845351A

    公开(公告)日:2017-06-13

    申请号:CN201611193290.1

    申请日:2016-12-21

    Applicant: 苏州大学

    Abstract: 本发明公开了一种用于视频的基于双向长短时记忆单元的行为识别方法,包括:(1)输入视频序列,提取视频序列中的RBG帧序列和光流图像;(2)分别训练RGB图像深度卷积网络和光流图像深度卷积网络;(3)提取网络的多层特征,其中至少提取第三卷积层、第五卷积层、第七全连接层的特征;对卷积层特征进行和池化;(4)对采用双向长短时记忆单元构建的递归神经网络进行训练,得到视频每帧的概率矩阵;(5)对每个概率矩阵取平均,最后融合光流帧和RGB帧的概率矩阵,取概率最大的类作为最后的分类结果,由此实现行为识别。本发明采用多层深度学习的特征代替传统的人工特征,不同层的深度特征表征了不同的信息,多层特征的组合可以提高分类的准确率;通过采用双向长短时记忆捕获时间信息,获得更多的时域结构信息,提高了行为识别的效果。

    一种文档主题的在线追踪方法

    公开(公告)号:CN103345474B

    公开(公告)日:2017-02-08

    申请号:CN201310223574.0

    申请日:2013-07-25

    Applicant: 苏州大学

    Abstract: 本发明公开了一种文档主题的在线追踪方法,包括如下步骤:首先对数据进行预处理,主要是将数据切分成若干独立段,然后逐段训练以解决内存不足的问题;对数据在主题模型上采用在线学习算法进行训练,其中每段的训练均权重依赖已经训练得到的结果;最后,对每段训练得到的结果进行主题演变分析,对相应的主题进行追踪。本发明采用在线学习算法训练模型的精度和速度都很高,有效的解决了主题模型训练中的一些不足,在海量数据和数据流中表现出较好的鲁棒性。

    一种手势识别方法、装置及手势学习系统

    公开(公告)号:CN105868715A

    公开(公告)日:2016-08-17

    申请号:CN201610187436.5

    申请日:2016-03-29

    Abstract: 一种手势识别方法、装置及手势学习系统,获取目标手势的各个手指伸出状态;从预设手势库中选择出与所述目标手势的各个手指伸出状态相匹配的手势集合;获取所述目标手势的手势特征量;从所述手势集合中选择出与所述目标手势的手势特征量相匹配的手势。该手势识别方法、装置及手势学习系统能够准确地识别静态的手势语,并且能够识别手势所表达的丰富语义,消除手势语言与自然语言间的沟通交流障碍。

    一种基于特征学习的跨年龄人脸验证方法

    公开(公告)号:CN104866829A

    公开(公告)日:2015-08-26

    申请号:CN201510270145.8

    申请日:2015-05-25

    Applicant: 苏州大学

    CPC classification number: G06K9/00221 G06K9/00268 G06K9/00288

    Abstract: 本发明公开了一种基于特征学习的跨年龄人脸验证方法,包括如下步骤:(1)获取待对比的两幅人脸图像;(2)利用人脸特征点定位的方法对两幅人脸图像进行对齐操作;(3)分别对每幅图像进行特征提取,方法为:①通过深度卷积神经网络自动提取高层语义特征;②计算图像的LBP直方图特征;③将①和②中获得的特征进行融合,表达为特征向量;(4)采用余弦相似度方法计算步骤(3)获得的两幅图像的特征向量之间的距离,据此判断两幅图像是否来自同一人。本发明首次将深度网络应用到跨年龄人脸验证,同时创造性地将手工设计的LBP直方图特征与深度网络自主学习的特征进行融合,实现高层语义特征与低层特征的互补,具有更好的准确率。

    基于非清晰区域抑制的多特征融合显著区域提取方法

    公开(公告)号:CN102521592B

    公开(公告)日:2013-06-12

    申请号:CN201110390185.8

    申请日:2011-11-30

    Applicant: 苏州大学

    Abstract: 本发明公开了一种基于非清晰区域抑制的多特征融合显著区域提取方法,首先输入待处理的源图像,再进行如下处理:(1)预处理;(2)对经过预处理的图像进行低层特征提取,获得空间显著图和频域显著图;(3)对经过预处理的图像进行高层语义特征提取,获得人脸显著图;(4)对步骤(2)和步骤(3)获得的空间显著图、频域显著图和人脸显著图进行中心聚集化操作,获得综合显著图;(5)根据综合显著图对待处理的源图像进行分割处理,提取出显著区域。本发明解决了传统的显著区域检测方法中存在的对大尺度目标图像检测内容缺失问题和对背景复杂图像情况下检测的误检问题,是一种准确度更高的显著区域检测方法。

    一种运动目标检测方法
    37.
    发明公开

    公开(公告)号:CN102903124A

    公开(公告)日:2013-01-30

    申请号:CN201210338285.0

    申请日:2012-09-13

    Applicant: 苏州大学

    Abstract: 本发明公开了一种运动目标检测方法,包括背景建模和前景检测,采用混合高斯模型进行背景建模并进行模型更新,获得B个高斯分布,对于待检测的帧图像中的一个像素点,如果在上述排序后的B个高斯分布中,至少有一个高斯分布与当前像素值匹配,则该像素点为一个背景像素,否则判定其为前景像素。本发明能有效地过滤前景噪声,得到十分干净的背景,既保留高效的去噪效果又增强了前景目标检测的准确性和完整性。

Patent Agency Ranking