公开(公告)号：CN112000818A

公开(公告)日：2020-11-27

申请号：CN202010663328.7

申请日：2020-07-10

Applicant: 中国科学院信息工程研究所

Inventor： 于静 ,  郭晶晶 ,  胡玥 ,  谭建龙 ,  郭莉

IPC: G06F16/432 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种面向文本和图像的跨媒体检索方法及电子装置，提取一设定长度语音信息的g维MFCC特征，并将长度为m的g维MFCC特征转换为一维语音特征；对一设定文本进行编码，获取词级别文本表示，并将词级别文本表示中每一个词与一维语音特征进行拼接，得到语音引导文本特征；提取每一图片的区域特征，计算区域特征与语音引导文本特征的相似性分数，判断该图片是否包含设定语音信息及设定文本信息，得到检索结果。本发明利用语音信息的停顿信息，以及语音信息与图像和文本间的关联关系来提升图像-文本匹配任务的性能，建模了融合语音信息的文本特征表示，引入基于局部注意力机制的细粒度特征融合方式进行跨模态特征融合，提升图文匹配效果。

公开(公告)号：CN110929029A

公开(公告)日：2020-03-27

申请号：CN201911064089.7

申请日：2019-11-04

Applicant: 中国科学院信息工程研究所

Inventor： 唐钰葆 ,  于静 ,  曹聪 ,  刘燕兵 ,  谭建龙 ,  郭莉

IPC: G06F16/35 ,  G06N3/04

Abstract: 本发明公开了一种基于图卷积神经网络的文本分类方法及系统。本方法为：1)对于目标领域的文本训练集中的每一已类别标注文本，根据该文本中词的词频、逆文档率生成该文本的文本特征向量；将各文本特征向量组合生成一文本特征矩阵，即TF-IDF矩阵，并根据词的词向量相似度构建一该文本训练集的图结构；2)利用所述图结构及文本特征矩阵训练图卷积神经网络；3)对于该目标领域的一待分类文本a，将该文本a的文本特征向量输入训练后的图卷积神经网络，得到该文本a的类别。本发明不仅考虑到文本的语义结构信息，而且从另一个角度捕捉文本的隐藏特征，分类准确性高。

公开(公告)号：CN109783696A

公开(公告)日：2019-05-21

申请号：CN201811466997.4

申请日：2018-12-03

Applicant: 中国科学院信息工程研究所

Inventor： 于静 ,  唐钰葆 ,  刘小梅 ,  刘燕兵 ,  曹聪 ,  谭建龙 ,  郭莉

IPC: G06F16/901 ,  G06F16/2458

Abstract: 本发明公开了一种面向弱结构相关性的多模式图索引构建方法及系统。本方法为：1)读取目标领域的模式图集合中的模式图并为每一模式图生成一模式图标志ID；2)构建模式图同构树：对各模式图进行两两判断，如果两个模式图之间存在子图同构关系，则添加一条从规模较小模式图指向规模较大模式图的有向边，得到模式图集合的模式图同构树；3)对模式图同构树进行频繁子图挖掘，找到公共模式图并将其加入到模式图同构树中；4)当模式图同构树中存在一子模式图具有多个父模式图时，则为该子模式图保留唯一的父模式图；5)计算模式图同构树的最小生成树，并对其进行深度优先遍历，得到模式图集的最优匹配顺序。本发明能够大大提高匹配效率。

公开(公告)号：CN107885797A

公开(公告)日：2018-04-06

申请号：CN201711023877.2

申请日：2017-10-27

Applicant: 中国科学院信息工程研究所

Inventor： 刘燕兵 ,  刘小梅 ,  于静 ,  曹聪 ,  谭建龙 ,  郭莉

IPC: G06F17/30

CPC classification number: G06F17/30277

Abstract: 本发明针对多模式图匹配问题，提出一种基于结构相关性的多模式图匹配方法，能够解决冗余计算问题，基于模式图结构相关性，在增加少量额外空间的前提下，提高了图模式匹配的整体性能。本发明主要是通过利用模式图之间的结构相关性，建立模式图之间的结构继承关系，将原本相互独立的模式图表示为一个整体数据结构，该数据结构保留了所有模式图需要匹配的非重复部分。同时重新规划了模式图匹配的顺序，使得在数据图中进行匹配时，可以避免多次匹配模式图中结构重复的部分，从而大大提升了图模式匹配的时间性能，达到加速计算的目的。