基于多模态的图像标注装置以及方法

    公开(公告)号:CN104239359B

    公开(公告)日:2017-09-01

    申请号:CN201310251807.8

    申请日:2013-06-24

    Inventor: 刘曦 刘汝杰

    Abstract: 本发明实施例提供一种基于多模态的图像标注装置以及方法,所述图像标注装置包括:分数生成单元,利用训练图像及图像的多个模态,为查询图像生成多组关于标注词典中所有标签的第一分数;后融合单元,将获得的多组分数进行融合来获得关于所有标签的最终分数;标签选择单元,根据所有标签的最终分数,选择具有较大标签分数的一个或多个标签作为所述查询图像的标签。通过本发明实施例,可以对多个模态进行有效地融合;并且能获得更鲁棒且精确的图像标注结果。

    基于多模态的图像标注装置以及方法

    公开(公告)号:CN104239359A

    公开(公告)日:2014-12-24

    申请号:CN201310251807.8

    申请日:2013-06-24

    Inventor: 刘曦 刘汝杰

    Abstract: 本发明实施例提供一种基于多模态的图像标注装置以及方法,所述图像标注装置包括:分数生成单元,利用训练图像及图像的多个模态,为查询图像生成多组关于标注词典中所有标签的第一分数;后融合单元,将获得的多组分数进行融合来获得关于所有标签的最终分数;标签选择单元,根据所有标签的最终分数,选择具有较大标签分数的一个或多个标签作为所述查询图像的标签。通过本发明实施例,可以对多个模态进行有效地融合;并且能获得更鲁棒且精确的图像标注结果。

    信息获取装置、方法以及服务器

    公开(公告)号:CN105095215B

    公开(公告)日:2019-05-10

    申请号:CN201410163389.1

    申请日:2014-04-22

    Inventor: 刘汝杰 刘曦

    Abstract: 本发明实施例提供一种信息获取装置、方法以及服务器,该装置包括:训练单元,训练数据库中的多个数据库图像,获得有关聚类频率的索引;接收单元,接收待识别图像;第一提取单元,提取待识别图像的特征;第一计算单元,根据提取的特征计算待识别图像的聚类频率分布;第二计算单元,根据聚类频率分布以及索引,计算待识别图像与数据库图像的聚类频率分布的距离;识别单元,根据该距离识别出与待识别图像相似的图像,并获得待识别图像的相关信息;发送单元,发送待识别图像的相关信息。通过将地点的图像作为待识别图像进行识别并获取相关信息,不需要知晓关于地点的关键词,就能够快速且准确的获取与该地点相关的信息。

    哈希编码方法和装置
    4.
    发明授权

    公开(公告)号:CN105320685B

    公开(公告)日:2019-03-19

    申请号:CN201410364922.0

    申请日:2014-07-29

    Inventor: 刘汝杰 刘曦

    Abstract: 本发明实施例提供一种哈希编码方法和装置,其中,所述方法包括:首先利用多个投影对数据投影得到多维数据投影值,然后在每维数据下通过k‑means聚类得到k个聚类中心,假定两两相邻聚类中心存在一个阈值,根据熵最大化原则求得(k‑1)个阈值并利用这些阈值及预设的编码方案对每维数据进行编码,最后拼合所有投影下的编码得到最终的二值编码。通过在每个投影方向下使用多个阈值,克服了单阈值量化中无法有效对数据划分问题且可以选择使用任意多个阈值;通过使用多个自适应学习的阈值来对每维数据进行量化,有效地保持了近邻结构,从而为大规模数据索引及近邻查询提供良好基础。

    多模态特征的融合方法以及装置

    公开(公告)号:CN104239360B

    公开(公告)日:2017-10-17

    申请号:CN201310252672.7

    申请日:2013-06-24

    Inventor: 刘曦 刘汝杰

    Abstract: 本发明实施例提供一种多模态特征的融合方法以及装置,所述融合方法包括:利用训练图像以及图像的多模态特征,为查询图像生成多组关于多个类的第一分类分数,并获得所述第一分类分数对应的多个两两关系矩阵;融合所述多个两两关系矩阵以得到组合后的关系矩阵;根据组合后的关系矩阵计算最终的关于所述多个类的分类分数,并为所述查询图像选择具有较大分类分数的一个或多个类。通过本发明实施例,不但可以有效且快速地进行多模态特征融合,而且可以很好地处理训练数据噪声或者数据缺失的情况。

    一种半监督的特征变换方法和装置

    公开(公告)号:CN103593357B

    公开(公告)日:2017-03-01

    申请号:CN201210290343.7

    申请日:2012-08-15

    Inventor: 刘曦 刘汝杰

    Abstract: 本发明实施例提供一种半监督的特征变换方法和装置,其中,所述方法包括:根据预定的标签数据集中的各个标签数据的标签向量和特征向量,确定每一个标签数据与其他标签数据的关系Wll;根据预定的非标签数据集中的各个非标签数据的特征向量,确定每一个非标签数据与其他非标签数据的关系Wuu;根据所述预定的标签数据集中的各个标签数据的标签向量和特征向量,以及所述预定的非标签数据集中的各个非标签数据的特征向量,确定每一个标签数据与每一个非标签数据的关系Wlu;根据所述Wll、Wuu以及Wlu;确定特征变换矩阵,根据该特征变换矩阵进行半监督的特征变换。通过本发明实施例的方法和装置,提高了特征变换的效率,得到了更有效的特征变换结果。

    信息获取装置、方法以及服务器

    公开(公告)号:CN105095215A

    公开(公告)日:2015-11-25

    申请号:CN201410163389.1

    申请日:2014-04-22

    Inventor: 刘汝杰 刘曦

    Abstract: 本发明实施例提供一种信息获取装置、方法以及服务器,该装置包括:训练单元,训练数据库中的多个数据库图像,获得有关聚类频率的索引;接收单元,接收待识别图像;第一提取单元,提取待识别图像的特征;第一计算单元,根据提取的特征计算待识别图像的聚类频率分布;第二计算单元,根据聚类频率分布以及索引,计算待识别图像与数据库图像的聚类频率分布的距离;识别单元,根据该距离识别出与待识别图像相似的图像,并获得待识别图像的相关信息;发送单元,发送待识别图像的相关信息。通过将地点的图像作为待识别图像进行识别并获取相关信息,不需要知晓关于地点的关键词,就能够快速且准确的获取与该地点相关的信息。

    图像聚类装置以及方法
    8.
    发明公开

    公开(公告)号:CN103778146A

    公开(公告)日:2014-05-07

    申请号:CN201210406382.9

    申请日:2012-10-23

    Inventor: 刘曦 刘汝杰

    CPC classification number: G06F17/30247 G06F17/30265

    Abstract: 本发明实施例提供一种图像聚类装置以及方法,所述图像聚类方法包括:对多个图像进行基于视觉特征的聚类以获得第一集合;对多个图像进行链接结构的聚类以获得第二集合;通过视觉特征信息和链接结构信息融合第一集合和第二集合,来获得图像聚类的结果。通过本发明实施例,可以进一步提高聚类结果的准确性,生成语义更加一致的类。

    信息处理装置和信息处理方法

    公开(公告)号:CN103425666A

    公开(公告)日:2013-12-04

    申请号:CN201210152699.4

    申请日:2012-05-16

    Inventor: 刘曦 刘汝杰

    Abstract: 本发明公开了一种信息处理装置以及一种信息处理方法,用于对具有多维标签的多个原始数据进行特征变换。该信息处理方法包括:计算每个原始数据与每个其他原始数据标签相似度并基于此确定该其他原始数据是否是该原始数据的相关数据,选择该原始数据的多个近邻相关数据,形成近邻相关图,并且求解用于进行特征变换的目标变换矩阵,该目标变换矩阵代表使得目标函数得到最大值的线性变换,该目标函数与近邻相关图中的全部边在经过所述线性变换的特征空间中的加权长度之和负相关。根据本公开的技术方案,可以实现对具有多维标签的多个原始数据进行局部保持投影(LPP)特征变换,进而可以更好地对原始数据进行分类。

    图像聚类装置以及方法
    10.
    发明授权

    公开(公告)号:CN103778146B

    公开(公告)日:2017-03-01

    申请号:CN201210406382.9

    申请日:2012-10-23

    Inventor: 刘曦 刘汝杰

    Abstract: 本发明实施例提供一种图像聚类装置以及方法,所述图像聚类方法包括:对多个图像进行基于视觉特征的聚类以获得第一集合;对多个图像进行链接结构的聚类以获得第二集合;通过视觉特征信息和链接结构信息融合第一集合和第二集合,来获得图像聚类的结果。通过本发明实施例,可以进一步提高聚类结果的准确性,生成语义更加一致的类。

Patent Agency Ranking