-
公开(公告)号:CN114677569A
公开(公告)日:2022-06-28
申请号:CN202210148651.X
申请日:2022-02-17
Applicant: 之江实验室 , 中国科学院信息工程研究所
Abstract: 本发明公开一种基于特征解耦合的文字‑图像对生成方法和装置,该方法首先利用带标注的文字‑图像对数据训练编码器,将文字和图像两种模态映射到同一个隐空间;然后利用无标注的图像数据训练图像编码器和解码器,同时利用无标注的文字数据训练文字编码器与解码器;利用训练好的文字‑图像特征编码器网络提取文字‑图像初始特征,在隐空间加入随机采样的噪声后进行解耦合,利用解码器生成多样化的文字‑图像对。本发明在自然场景中,例如改变纹理、颜色等高层语义属性,都可以实现较好的文本‑图像数据编辑。
-
公开(公告)号:CN114677569B
公开(公告)日:2024-05-10
申请号:CN202210148651.X
申请日:2022-02-17
Applicant: 之江实验室 , 中国科学院信息工程研究所
IPC: G06F18/25 , G06V10/80 , G06V10/44 , G06V30/18 , G06V10/82 , G06N3/0455 , G06N3/0475 , G06N3/0442 , G06N3/094
Abstract: 本发明公开一种基于特征解耦合的文字‑图像对生成方法和装置,该方法首先利用带标注的文字‑图像对数据训练编码器,将文字和图像两种模态映射到同一个隐空间;然后利用无标注的图像数据训练图像编码器和解码器,同时利用无标注的文字数据训练文字编码器与解码器;利用训练好的文字‑图像特征编码器网络提取文字‑图像初始特征,在隐空间加入随机采样的噪声后进行解耦合,利用解码器生成多样化的文字‑图像对。本发明在自然场景中,例如改变纹理、颜色等高层语义属性,都可以实现较好的文本‑图像数据编辑。
-
公开(公告)号:CN112001427A
公开(公告)日:2020-11-27
申请号:CN202010771876.1
申请日:2020-08-04
Applicant: 中国科学院信息工程研究所
Abstract: 本发明提出了一种基于类比学习的图像转化方法和装置。本方法首先将待转换的两类非配对的图像整理为源图像集合和目标图像集合,然后构造图像转化网络,然后使用类比损失函数作为训练过程损失函数的一部分,然后对源图像进行图像转化。本方法通过使用类比损失函数,一方面保证了生成图像和源图像跨类别的差异,另一方面也保证了任意两个源图像之间的差异可以保留到生成图像中;基于共享权重的生成式对抗网络结构,让中间的隐变量可以在相同的度量空间中进行类比。同时,共享权重还可以减少模型学习参数,提高运行速度。本发明能够使用非配对图像训练图像转化网络,并获得真实的目标图像。
-
公开(公告)号:CN109635808B
公开(公告)日:2023-01-17
申请号:CN201811294643.6
申请日:2018-11-01
Applicant: 中国科学院信息工程研究所
IPC: G06V30/19 , G06V10/82 , G06V30/148
Abstract: 本发明公开一种在自然场景图像中对中文关键词及上下文的提取方法,步骤包括:准备一个合适的中文数据集及物体检测分类模型,调整现有标注,对中文逐一文字进行标注;对图片进行中文文字检测,基于物体检测分类模型,将中文文字作为不同类别进行检测分类将;通过计算自定义的匹配系数,从物体检测分类结果中提取关键词,通过不断更新锚点关键词和生成候选直线的方式提取上下文信息。本发明在中文文字关键词及上下文识别上有高精度高召回的效果。
-
公开(公告)号:CN112001427B
公开(公告)日:2022-11-15
申请号:CN202010771876.1
申请日:2020-08-04
Applicant: 中国科学院信息工程研究所
IPC: G06V10/774 , G06V10/74 , G06V10/82 , G06N3/04 , G06N3/08
Abstract: 本发明提出了一种基于类比学习的图像转化方法和装置。本方法首先将待转换的两类非配对的图像整理为源图像集合和目标图像集合,然后构造图像转化网络,然后使用类比损失函数作为训练过程损失函数的一部分,然后对源图像进行图像转化。本方法通过使用类比损失函数,一方面保证了生成图像和源图像跨类别的差异,另一方面也保证了任意两个源图像之间的差异可以保留到生成图像中;基于共享权重的生成式对抗网络结构,让中间的隐变量可以在相同的度量空间中进行类比。同时,共享权重还可以减少模型学习参数,提高运行速度。本发明能够使用非配对图像训练图像转化网络,并获得真实的目标图像。
-
公开(公告)号:CN109635808A
公开(公告)日:2019-04-16
申请号:CN201811294643.6
申请日:2018-11-01
Applicant: 中国科学院信息工程研究所
CPC classification number: G06K9/344 , G06K9/6256 , G06K9/6268 , G06K2209/01
Abstract: 本发明公开一种在自然场景图像中对中文关键词及上下文的提取方法,步骤包括:准备一个合适的中文数据集及物体检测分类模型,调整现有标注,对中文逐一文字进行标注;对图片进行中文文字检测,基于物体检测分类模型,将中文文字作为不同类别进行检测分类将;通过计算自定义的匹配系数,从物体检测分类结果中提取关键词,通过不断更新锚点关键词和生成候选直线的方式提取上下文信息。本发明在中文文字关键词及上下文识别上有高精度高召回的效果。
-
-
-
-
-