一种基于层次化风格的条件文本-电商图片检索方法和系统

    公开(公告)号:CN116089645A

    公开(公告)日:2023-05-09

    申请号:CN202211665322.9

    申请日:2022-12-23

    Applicant: 北京大学

    Abstract: 本发明涉及一种基于层次化风格的条件文本‑电商图片的检索方法和系统。该方法包括以下步骤:1.建立条件文本‑电商图片数据库。2.通过滑动窗口机制和双阶段自注意机制将图像块的平均特征与图像块特征之间进行交互,得到图像块的共性特征。3.将共性特征通过图推理网络与图像块特征进行融合,并通过局部区域过滤网络过滤掉无用图像块特征,得到图像块的差异特征。4.将共性特征与差异特征通过低层‑高层交互融合得到风格特征。5.以风格特征作为查询样例,根据查询样例检索目标图片。本发明能够充分挖掘图像细粒度信息以及空间上下文信息,并学习包含风格的视觉特征与修改文本之间的融合对齐,比现有方法达到更高的检索准确率。

    一种基于混合迁移网络的跨媒体检索方法

    公开(公告)号:CN107220337B

    公开(公告)日:2020-12-22

    申请号:CN201710378474.3

    申请日:2017-05-25

    Applicant: 北京大学

    Inventor: 黄鑫 彭宇新

    Abstract: 本发明涉及一种基于混合迁移网络的跨媒体检索方法,包括以下步骤:1.建立单媒体数据库和跨媒体数据库,并将跨媒体数据库中的数据分为训练集和测试集。2.利用单媒体数据库和跨媒体数据库的训练集中的数据训练混合迁移网络,用于学习不同媒体数据的统一表征。3.利用训练好的混合迁移网络,得到跨媒体数据库的测试集中数据的统一表征,进而计算跨媒体相似性。4.使用跨媒体测试集中的一种媒体类型作为查询集,另一种媒体类型作为检索库进行检索,根据相似性得到最终检索结果。本发明既实现了从单媒体到跨媒体的知识迁移,也通过强调目标域的语义关联生成更加适合跨媒体检索的统一表征,提高了跨媒体检索的准确率。

    一种基于多粒度层级网络的跨模态关联学习方法

    公开(公告)号:CN107346328B

    公开(公告)日:2020-09-08

    申请号:CN201710378513.X

    申请日:2017-05-25

    Applicant: 北京大学

    Inventor: 彭宇新 綦金玮

    Abstract: 本发明涉及一种基于多粒度层级网络的跨模态关联学习方法,包括以下步骤:1.建立包含多种模态类型的跨模态数据库,并将该数据库中的数据分为训练集、验证集和测试集,对数据库中不同模态数据进行分块处理,提取所有模态原始数据以及分块后数据的特征向量。2.利用原始数据和分块后的数据训练多粒度层级网络结构,为不同模态数据学习统一表征。3.利用训练好的多粒度层级网络结构,得到不同模态数据的统一表征,进而计算不同模态数据的相似性。4.取测试集中的任意一种模态类型作为查询模态,以另一种模态类型作为目标模态,计算查询样例和查询目标的相似性,根据相似性得到目标模态数据的相关结果列表。本发明能够提高跨模态检索的准确率。

    一种基于过渡空间映射的文本生成图像方法和系统

    公开(公告)号:CN110930469A

    公开(公告)日:2020-03-27

    申请号:CN201911022919.X

    申请日:2019-10-25

    Applicant: 北京大学

    Inventor: 彭宇新 袁明宽

    Abstract: 本发明涉及一种基于过渡空间映射的文本生成图像方法和系统。该方法包括以下步骤:1.利用数据库中的图像和文本,训练由一个过渡空间映射网络和一个生成式对抗网络级联组成的文本生成图像模型。2.对于用户输入的文本,利用训练好的文本生成图像模型,生成与输入文本内容相符的图像。与现有方法相比,本发明能够显著提高生成图像的质量,并增强生成图像和输入文本的语义一致性。

    一种多索引磁盘哈希结构的图像检索方法

    公开(公告)号:CN105574212B

    公开(公告)日:2019-04-26

    申请号:CN201610101397.2

    申请日:2016-02-24

    Applicant: 北京大学

    Abstract: 本发明涉及一种多索引磁盘哈希结构的图像检索方法,包括以下步骤:离线索引阶段,对多媒体数据提取高维特征;使用哈希映射方法将高维特征映射为哈希编码;将哈希编码平均分割为编码子串;将编码子串分别插入对应的基于磁盘的B+树索引结构中;重复上述步骤m次,形成多索引磁盘结构。在线查询阶段,对于查询的多媒体数据,经过提取特征、哈希编码、编码分割后得到编码子串,搜索该编码在磁盘索引的r近邻结果,合并r近邻结果直至找到k近邻结果后返回。本发明结合多索引哈希方法与B+树存储结构的优势,在提高索引结构检索准确率和检索速度的同时,增大了支持的数据量。

    一种商标图像识别方法
    7.
    发明授权

    公开(公告)号:CN105701501B

    公开(公告)日:2019-01-18

    申请号:CN201610004214.5

    申请日:2016-01-04

    Applicant: 北京大学

    Inventor: 唐攀攀 彭宇新

    Abstract: 本发明提供一种商标图像识别方法,包括以下步骤:准备待识别商标的训练样本,提取其局部特征并进行聚类和量化;利用互信息进行特征选择;对测试图像提取与训练样本相同的局部特征,并利用之前得到的聚类中心对局部特征进行量化;利用特征选择保留下来的特征对测试图片的关键点进行过滤,然后对测试图片和正样本进行关键点匹配;利用空间拓扑关系对匹配进行约束,去除错误匹配的关键点对,统计配点对中不同视觉词的数目作为测试图像与正样本的相似度;根据相似度大小确定测试图像是否包含该商标。本发明从过滤不相关特征点和消除错误匹配两个方面进行考虑,它们之间是一种互补的关系,能够相互促进,从而更好地提高商标识别准确率。

    一种基于特定模态语义空间建模的跨模态相似性学习方法

    公开(公告)号:CN107562812A

    公开(公告)日:2018-01-09

    申请号:CN201710684763.6

    申请日:2017-08-11

    Applicant: 北京大学

    Inventor: 彭宇新 綦金玮

    Abstract: 本发明涉及一种基于特定模态语义空间建模的跨模态相似性学习方法,包括以下步骤:1.建立跨模态数据库,其中包含多种模态类型数据,并将数据库中的数据分为训练集、测试集和验证集。2.针对跨模态数据库中的每种模态类型,构造针对该特定模态的语义空间,将其他模态类型数据投射到该语义空间,得到针对该特定模态的跨模态相似度。3.将从不同模态语义空间得到的针对特定模态的跨模态相似度进行融合,得到最终跨模态相似度。4.取测试集中的任意一种模态类型作为查询模态,以另一种模态类型作为目标模态,计算查询样例和查询目标的相似性,根据相似性得到目标模态数据的相关结果列表。本发明能够提高跨模态检索的准确率。

    一种基于改进的OM特征的视频拷贝检测方法

    公开(公告)号:CN105608233A

    公开(公告)日:2016-05-25

    申请号:CN201610108852.1

    申请日:2016-02-26

    Applicant: 北京大学

    Inventor: 彭宇新 赵俊杰

    CPC classification number: G06F17/30247

    Abstract: 本发明提供了一种基于改进的OM特征的视频拷贝检测方法。该方法包括以下步骤:对源视频数据集提取改进的OM特征并建立索引;对查询视频提取改进的OM特征,基于前述的索引计算和查询视频相似度最大的源视频,当相似度值大于一定值后,选择该源视频为候选源视频;计算候选源视频与查询视频之间的序列匹配关键帧数,通过阈值判断查询视频是否为该候选源视频的拷贝,并定位到拷贝片段在源视频中的位置。本发明充分考虑了视频帧图像的空间特征和视频帧之间的亮度变化,使得两者之间互相促进从而更加准确地描述视频内容,因此能够取得更高的视频拷贝检测的准确率。

    一种基于关联分析的异构媒体相似性计算方法和检索方法

    公开(公告)号:CN104199826A

    公开(公告)日:2014-12-10

    申请号:CN201410356922.6

    申请日:2014-07-24

    Applicant: 北京大学

    Inventor: 彭宇新 翟晓华

    CPC classification number: G06F17/30017

    Abstract: 本发明提供了一种基于关联分析的异构媒体相似性计算方法和异构媒体检索方法,包括以下步骤:建立包含不同媒体类型的异构媒体数据库,提取每种媒体类型数据的特征向量;基于媒体内部关联关系,通过k近邻分析来计算异构媒体相似性;基于媒体之间关联关系,通过异构媒体约束传递来计算异构媒体相似性;通过自适应排序结果融合算法融合媒体内部和媒体之间的内容相似性获得最终结果,自适应设置融合权重,获得最终的异构媒体相似性用于异构媒体检索。本发明充分考虑了媒体内部的类别信息和媒体之间的约束信息,通过自适应融合不同的相似性计算方法,使得不同媒体能够互相促进,提高相似性计算的准确性,从而能取得更高的异构媒体检索准确率。

Patent Agency Ranking