基于视觉显著性与语义属性跨模态图像自然语言描述方法

    公开(公告)号:CN107688821A

    公开(公告)日:2018-02-13

    申请号:CN201710560024.6

    申请日:2017-07-11

    CPC classification number: G06K9/6262 G06K9/6256 G06N3/084

    Abstract: 本发明属于计算机视觉与自然语言处理技术领域,公开了一种基于视觉显著性与语义属性跨模态图像自然语言描述方法,采用卷积神经网络提取图像各区域的多尺度深度视觉特征;利用预训练的显著性模型,回归出图像显著性图对原图像进行加权;建立预定义字典作为语义属性类别,并对视觉显著性图像进行语义属性检测;采用多示例学习计算语义属性;利用语义属性对图像特征加权;采用长短期记忆网络对基于视觉显著性的语义属性特征进行解码,生成图像描述。本发明具有准确度高的优点。可用于复杂场景下的图像检索及多目标图像语义理解等。

    基于成对协同正则化和NMF的自适应多视图聚类方法

    公开(公告)号:CN107292341A

    公开(公告)日:2017-10-24

    申请号:CN201710466702.2

    申请日:2017-06-20

    Abstract: 本发明提出了一种基于成对协同正则化和NMF的自适应多视图聚类方法,用于解决现有多视图聚类方法中存在的精度低和归一化交互信息低的技术问题,实现步骤为:获取原始图像集的归一化非负多视图数据;计算多视图数据的拉普拉斯矩阵;构建成对协同正则化和NMF的自适应多视图聚类的目标函数;分别获取基矩阵、系数矩阵和权重参数的迭代更新表达式;获取更新后的基矩阵、系数矩阵和权重参数;对更新后的系数矩阵进行K-均值聚类,得到聚类结果。本发明利用成对协同正则化方法保持视图间的相似性,并利用自适应方法自动学习视图内的相似性约束项的权重参数,有效提高了多视图聚类的性能,可应用于客户信息分析、金融分析和医学等领域。

    基于非参数贝叶斯模型的监督跨模态哈希检索方法

    公开(公告)号:CN107273505A

    公开(公告)日:2017-10-20

    申请号:CN201710466670.6

    申请日:2017-06-20

    Abstract: 本发明提出了一种基于非参数贝叶斯模型的监督跨模态哈希检索方法,用于解决现有跨模态哈希检索方法中存在的检索精度低的技术问题。实现步骤为:获取归一化训练数据和测试数据;对归一化训练数据进行分类;获取归一化训练数据的三个训练数据参数;获取归一化图像训练数据和归一化文本训练数据同属于每一类的概率;获取训练数据后验概率;获取归一化图像训练数据和归一化文本训练数据的统一哈希编码;获取测试数据哈希编码;计算测试数据哈希编码与归一化图像训练数据和归一化文本训练数据统一哈希编码的汉明距离矩阵;获取测试数据的检索结果。本发明的检索精度高,可用于移动终端设备以及物联网的图像与文本互搜索服务。

    基于协同训练的矩阵分解跨模态哈希检索方法

    公开(公告)号:CN106777318A

    公开(公告)日:2017-05-31

    申请号:CN201710006037.9

    申请日:2017-01-05

    Abstract: 本发明公开了一种基于协同训练与矩阵分解的跨模态哈希检索方法,主要解决无类标的跨模态数据如何进行有效的模态间与模态内相似性约束的问题。其实现步骤为:获取原始数据并归一化处理;协同训练得到模态间约束;用近邻关系得到模态内约束;训练数据矩阵分解,加入模态间和模态内约束,得到目标函数;交替迭代得到基矩阵、系数矩阵和投影矩阵表达式;量化得到训练数据集和测试数据集哈希编码;计算该两数据集哈希编码之间的汉明距离;汉明距离排序得到检索结果。本发明利用协同训练方法得到跨模态数据的模态间相似性约束,提高图像与文本互检索性能,用于移动设备、物联网以及电子商务的图片文本互搜索服务。

    基于多通道多尺度与级联过滤器的快速图像文本检测方法

    公开(公告)号:CN106384112A

    公开(公告)日:2017-02-08

    申请号:CN201610808517.2

    申请日:2016-09-08

    CPC classification number: G06K9/325 G06K9/342 G06K9/6273 G06K2209/01

    Abstract: 本发明公开了一种基于多通道多尺度与级联过滤器的快速图像文本检测方法,主要解决现有技术查全率低和速度慢的问题。其过程是:1)在输入图像的不同通道和尺度下提取最大稳定极值区域作为字符候选区域;2)用由粗到细的级联过滤器去除字符候选区域中的背景区域,即先为字符候选区域的形态学特征设置阈值,进行第一级粗过滤;再为字符候选区域的笔画宽度和笔画宽度变异系数设置阈值,进行第二次级粗过滤,之后去除重叠的区域,利用卷积神经网络二分类器进行细过滤;3)根据级联过滤后的字符候选区域的几何和位置特征,用图模型将该区域聚合成字符串。本发明具有很高的查全率、较高的准确率和较快的速度,可用于各种干扰下的图像文本的检测。

    基于局部几何视觉短语描述的鉴别性人脸姿态识别方法

    公开(公告)号:CN103310208A

    公开(公告)日:2013-09-18

    申请号:CN201310289408.0

    申请日:2013-07-10

    Abstract: 基于局部几何视觉短语描述的鉴别性人脸姿态识别方法,其包括基于人脸局部特征建立词袋模型,通过局部几何视觉短语引入词袋模型中单词的空间信息,并用几何视觉短语构成图像的特征向量,用向量的内积统计共现的特征数目,通过共现的特征数构成训练图像核矩阵,将所述训练图像核矩阵输入到支撑向量机分类器训练得到人脸姿态分类器。本发明能克服光照、遮挡和偏移对人脸姿态判别的影响,提高人脸姿态特征的鉴别性;通过在位移空间统计共现的局部几何视觉短语数提高计算效率且保证了基于局部几何视觉短语的空间特征的移位不变性。

    一种基于频域分析的静态人脸表情合成方法

    公开(公告)号:CN103268623A

    公开(公告)日:2013-08-28

    申请号:CN201310241382.2

    申请日:2013-06-18

    Abstract: 一种基于频域分析的静态人脸表情合成方法,包括如下步骤:(1)多表情人脸图像的对齐步骤;(2)将源人物和目标人物的中性表情变形到源人物表情的形状下;(3)在频域提取源人物的表情细节;(4)计算目标人物特有的面部特征子图像;(5)将源人物的表情细节子图像与目标人物特有的面部特征子图像相融合,得到最终的表情转移图像。本发明所需样本量少;从图像的频域特性出发,能更好的提取人脸图像的表情细节,且合成图像不受光照变化的影响,鲁棒性好;通过人脸表情的迁移,合成的人脸图像既保留了目标人物特有的面部特征又包含了源人物的表情细节,将目标人物特有的面部特征和源人物的表情细节有机的结合在一起,因此合成的人脸表情更自然、更逼真。

    基于鲁棒视觉注意特征与稀疏表示的不良图像判别方法

    公开(公告)号:CN102034107B

    公开(公告)日:2012-12-05

    申请号:CN201010570786.2

    申请日:2010-12-02

    Abstract: 本发明公开了一种基于鲁棒视觉注意特征与稀疏表示的不良图像判别方法,主要解决现有基于低级语义特征的方法不足以描述不良图像信息的内容,从而导致误判的问题。其步骤是:(1)采用高斯混合模型寻求多峰肤色分布的规律,建立肤色模型;(2)通过Bootstrap的主动反馈方法优化肤色模型;(3)引入人眼视觉注意模型,检测图像中有限的显著特征点;(4)进一步利用肤色区域去除冗余特征点;(5)对图像保留下来的感兴趣点采用尺度不变特征转换SIFT进行描述;(6)生成不良图像和正常图像的码本库;(7)采用稀疏表示中的图像重构误差检索出不良图像。实验结果表明,本发明具有更强的鲁棒性,能更好的分辨出不良图像和正常图像。

    基于支撑向量回归的人脸伪照片合成方法

    公开(公告)号:CN102110303B

    公开(公告)日:2012-07-04

    申请号:CN201110058175.4

    申请日:2011-03-10

    Abstract: 本发明公开了一种基于支撑向量回归的人脸伪照片合成方法。其步骤为:(1)划分数据库样本集;(2)在画像测试集中任取一张画像;(3)生成任取画像对应伪照片初始估计;(4)生成训练人脸画像块集;(5)在训练人脸画像块集和训练人脸照片块集之间生成支撑向量回归模型;(6)生成任取画像对应伪照片高频;(7)生成最终的伪照片。本发明将初始估计和高频细节结合生成伪照片,使生成的伪照片更加清晰,提高了用伪照片检索时的识别率。本发明采用基于支撑向量回归的方法,在小样本问题上也可使用。

    全天空极光图像占空比参数的提取方法

    公开(公告)号:CN102129576A

    公开(公告)日:2011-07-20

    申请号:CN201110047076.6

    申请日:2011-02-28

    Abstract: 本发明公开了一种全天空极光图像占空比参数的提取方法,主要解决现有技术只能对具有明显形状和边界的光斑进行分割导致占空比参数误差较大的缺陷。其特定是根据极光在天空所呈现的不同形态采用相应分割方法,即首先对全天空极光图像进行预处理;然后确定光斑区域最优分割阈值,对光斑区域进行分割;接着根据光线区域与背景天空区域纹理结构的差异,对光线区域进行分割;最后根据光斑和光线区域的分割结果,计算占空比参数。本发明通过灰度特征确定光斑分割阈值,对无明显形状或边界的光斑也能精确分割,并根据纹理特征实现光线区域的成功分割,有效降低了占空比参数的误差,可用于复杂形态的极光区域从天空背景区域的分割。

Patent Agency Ranking