图像生成模型的训练方法和设备以及图像生成方法

    公开(公告)号:CN113781598A

    公开(公告)日:2021-12-10

    申请号:CN202111238938.3

    申请日:2021-10-25

    Abstract: 本申请公开了一种图像生成模型的训练方法和设备以及图像生成方法,其中训练方法包括:基于样本数据中的图像描述文本生成句子向量和词向量;将初始高斯噪声输入模型的无条件对抗子网络生成第一图像;基于第一图像计算非条件对抗损失函数值;将第一图像和第一句子的句子向量输入模型的句子级别对抗子网络生成第二图像;基于第二图像和句子向量计算句子级别的条件对抗损失函数值;第一句子为图像描述文本对应的句子;将第二图像和第一句子的词向量,输入模型的词级别对抗子网络生成第三图像;基于第三图像、句子向量和词向量,计算词级别的条件对抗损失函数值;利用上述损失函数值对图像生成模型的参数更新。本申请可以保证生成图像与文本的一致性。

    一种图像的文本描述方法及装置

    公开(公告)号:CN110135441A

    公开(公告)日:2019-08-16

    申请号:CN201910414090.1

    申请日:2019-05-17

    Abstract: 本发明实施例提供了一种图像的文本描述方法及装置,方法包括:获取待描述图像,提取待描述图像的多个区域特征和一个全局特征;将区域特征、全局特征输入预先训练的文本描述神经网络中的句子级子网络,得到针对每个待生成句子的句子指导向量;将句子指导向量输入文本描述神经网络中的词汇子网络,得到描述文本;由于采用句子级子网络和词汇级子网络的分层结构,能够捕捉段落中句子之间的连贯性,提高了生成的文本段落中句子之间的连贯性,此外,相较于现有的基于循环神经网络的方案,降低了训练过程的计算复杂度。

    一种使用深层结构获取双模态相似性测度的方法

    公开(公告)号:CN103793507B

    公开(公告)日:2016-10-05

    申请号:CN201410039222.4

    申请日:2014-01-26

    Abstract: 本发明提出了一种使用深层结构获取双模态相似性测度的方法,该方法包括:第一模态原始数据使用经典特征提取方法获取第一模态的低级表达P1,第二模态原始数据使用经典特征提取方法获取第二模态的低级表达T1,P1为n维向量,T1为l维向量;第一模态的低级表达P1通过堆叠的两层受限波尔兹曼机获得中级表达P3;第二模态的低级表达T1通过堆叠的两层受限波尔兹曼机获得中级表达T3;所述第一模态的中级表达P3与第二模态的中级表达T3分别使用自动编码器进行编码,编码后第一模态表示为P4,第二模态表示为T4,所述P4与T4为相同维数的向量,计算P4与T4的相似性测度。

    一种基于自动编码器的视频分类方法及装置

    公开(公告)号:CN104866596A

    公开(公告)日:2015-08-26

    申请号:CN201510290451.8

    申请日:2015-05-29

    CPC classification number: G06F17/30781 G06K9/6267

    Abstract: 本发明实施例提供了一种基于自动编码器的视频分类方法及装置。该方法中,获得具有三种模态数据的目标视频的每一种模态数据的低级表示内容;将每一种模态数据的低级表示内容分别输入至堆叠的自动编码器组处理,获得每一种模态数据的高级表示内容;将每两种模态数据的高级表示内容的组合结果分别输入至双模态融合器处理,获得相应两种模态数据的双模态公共表示内容;将双模态公共表示内容的组合结果输入至三模态融合器处理,获得三模态公共表示内容;将三模态公共表示内容输入至有监督分类模型处理,以获得各个视频类别的类别标签,并确定目标视频所对应的视频类别。可见,通过本方案可以结合目标视频的三种模态数据对目标视频进行分类。

    一种基于深层模型的跨模态检索方法

    公开(公告)号:CN104462489A

    公开(公告)日:2015-03-25

    申请号:CN201410800393.4

    申请日:2014-12-18

    CPC classification number: G06F17/30864 G06F17/30675 G06N3/08

    Abstract: 本发明提出了一种基于深层模型的跨模态检索方法,该方法包括:利用特征提取方法分别获得目标检索模态与检索库中每一个被检索模态的低级表达向量;目标检索模态的低级表达向量分别与检索库中每一个被检索模态的低级表达向量,通过堆叠对应的受限波尔兹曼机Corr-RBMs深层模型获得目标检索模态的高级表达向量和检索库中每一个被检索模态的高级表达向量;利用目标检索模态的高级表达向量和检索库中每一个被检索模态的高级表达向量计算目标检索模态与检索库中每一个被检索模态的距离;将检索库中与目标检索模态距离最近的至少一个被检索模态确定为与目标检索模态匹配的对象。

    基于文本生成图像的模型训练方法、设备和图像生成方法

    公开(公告)号:CN112990302B

    公开(公告)日:2023-03-21

    申请号:CN202110266563.5

    申请日:2021-03-11

    Abstract: 本申请公开了一种基于文本生成图像的模型训练方法、设备和图像生成方法,其中方法包括基于预设训练样本集合中各训练样本的文本信息,生成文本嵌入式表示,将所述文本嵌入式表示输入至图像生成模型,触发图像生成模型基于该文本嵌入式表示,生成人造图像,并采用模态解纠缠方式,提取人造图像的真实度参数和相应训练样本的真实图像的真实度参数;基于所述人造图像,确定所述训练样本的正例和负例;利用所述图像生成模型,基于每个训练样本的正例、负例和真实图像各自对应的所述真实度参数,计算总体损失函数;利用所述总体损失函数,调整所述图像生成模型的参数。采用本申请可以提高模型学习效率和图像生成效果。

    一种基于图卷积神经网络的方面级情感分析方法及装置

    公开(公告)号:CN112528672A

    公开(公告)日:2021-03-19

    申请号:CN202011463822.5

    申请日:2020-12-14

    Abstract: 本发明实施例提供了一种基于图卷积神经网络的方面级情感分析方法及装置,所述方法包括:获取待进行方面情感分析的句子,以及该待进行方面情感分析句子中的方面词;对待进行方面情感分析的句子以及方面词进行预处理,得到待进行方面情感分析的句子对应的输入向量序列以及句法加权图;将输入向量序列和句法加权图,输入预先训练的双重图卷积神经网络中,得到方面词对应的情感分析结果。本发明实施例,使用双重图卷积神经网络不仅关注句子的句法特征,还关注句子的语义特征,提取句子对应的语义相关特征,弥补了对句法不敏感的句子提取句法特征不准确的缺陷,提高情感分析结果的准确性。

    负例训练样本采集方法、装置及模型训练方法、装置

    公开(公告)号:CN109165309A

    公开(公告)日:2019-01-08

    申请号:CN201810885541.5

    申请日:2018-08-06

    Abstract: 本发明实施例提供了负例训练样本采集方法和模型训练方法。负例训练样本采集方法包括:对表示向量进行聚类,确定目标向量所属的第一聚类及中心,从而确定候选聚类的目标概率,从候选向量中抽取多个第二聚类,并从每个第二聚类中获取一个负例训练样本。模型训练方法包括:确定多组训练样本;基于训练样本对初始图像检索模型进行训练,在迭代到一定次数时,若模型没有训练完成,重新确定训练样本继续训练,直至模型训练完成。与现有技术相比,应用本发明实施例提供的方案,采集负例训练样本时,可以在兼顾各个不同难度水平的负例训练样本的同时,优先采集“难”的负例训练样本,进而提高基于负例训练样本训练得到的图像检索模型的准确率。

Patent Agency Ranking