公开(公告)号：CN110135441A

公开(公告)日：2019-08-16

申请号：CN201910414090.1

申请日：2019-05-17

Applicant: 北京邮电大学

Inventor： 李睿凡 ,  梁昊雨 ,  石祎晖 ,  冯方向 ,  张光卫 ,  王小捷

IPC: G06K9/46 ,  G06K9/62

Abstract: 本发明实施例提供了一种图像的文本描述方法及装置，方法包括：获取待描述图像，提取待描述图像的多个区域特征和一个全局特征；将区域特征、全局特征输入预先训练的文本描述神经网络中的句子级子网络，得到针对每个待生成句子的句子指导向量；将句子指导向量输入文本描述神经网络中的词汇子网络，得到描述文本；由于采用句子级子网络和词汇级子网络的分层结构，能够捕捉段落中句子之间的连贯性，提高了生成的文本段落中句子之间的连贯性，此外，相较于现有的基于循环神经网络的方案，降低了训练过程的计算复杂度。

公开(公告)号：CN109165309A

公开(公告)日：2019-01-08

申请号：CN201810885541.5

申请日：2018-08-06

Applicant: 北京邮电大学

Inventor： 李睿凡 ,  都金超 ,  陈光 ,  李鑫 ,  王宁 ,  梁昊雨 ,  李亚洲 ,  朱正源

IPC: G06F16/55 ,  G06F16/583

Abstract: 本发明实施例提供了负例训练样本采集方法和模型训练方法。负例训练样本采集方法包括：对表示向量进行聚类，确定目标向量所属的第一聚类及中心，从而确定候选聚类的目标概率，从候选向量中抽取多个第二聚类，并从每个第二聚类中获取一个负例训练样本。模型训练方法包括：确定多组训练样本；基于训练样本对初始图像检索模型进行训练，在迭代到一定次数时，若模型没有训练完成，重新确定训练样本继续训练，直至模型训练完成。与现有技术相比，应用本发明实施例提供的方案，采集负例训练样本时，可以在兼顾各个不同难度水平的负例训练样本的同时，优先采集“难”的负例训练样本，进而提高基于负例训练样本训练得到的图像检索模型的准确率。

公开(公告)号：CN109165309B

公开(公告)日：2020-10-16

申请号：CN201810885541.5

申请日：2018-08-06

Applicant: 北京邮电大学

Inventor： 李睿凡 ,  陈光 ,  都金超 ,  李鑫 ,  王宁 ,  梁昊雨 ,  李亚洲 ,  朱正源 ,  王小捷

IPC: G06F16/55 ,  G06F16/583

Abstract: 本发明实施例提供了负例训练样本采集方法和模型训练方法。负例训练样本采集方法包括：对表示向量进行聚类，确定目标向量所属的第一聚类及中心，从而确定候选聚类的目标概率，从候选向量中抽取多个第二聚类，并从每个第二聚类中获取一个负例训练样本。模型训练方法包括：确定多组训练样本；基于训练样本对初始图像检索模型进行训练，在迭代到一定次数时，若模型没有训练完成，重新确定训练样本继续训练，直至模型训练完成。与现有技术相比，应用本发明实施例提供的方案，采集负例训练样本时，可以在兼顾各个不同难度水平的负例训练样本的同时，优先采集“难”的负例训练样本，进而提高基于负例训练样本训练得到的图像检索模型的准确率。

公开(公告)号：CN110135441B

公开(公告)日：2020-03-03

申请号：CN201910414090.1

申请日：2019-05-17

Applicant: 北京邮电大学

Inventor： 李睿凡 ,  梁昊雨 ,  石祎晖 ,  冯方向 ,  张光卫 ,  王小捷

IPC: G06K9/46 ,  G06K9/62

Abstract: 本发明实施例提供了一种图像的文本描述方法及装置，方法包括：获取待描述图像，提取待描述图像的多个区域特征和一个全局特征；将区域特征、全局特征输入预先训练的文本描述神经网络中的句子级子网络，得到针对每个待生成句子的句子指导向量；将句子指导向量输入文本描述神经网络中的词汇子网络，得到描述文本；由于采用句子级子网络和词汇级子网络的分层结构，能够捕捉段落中句子之间的连贯性，提高了生成的文本段落中句子之间的连贯性，此外，相较于现有的基于循环神经网络的方案，降低了训练过程的计算复杂度。