公开(公告)号：CN114912512B

公开(公告)日：2024-07-23

申请号：CN202210392208.7

申请日：2022-04-14

Applicant: 南京大学

Inventor： 张建兵 ,  马海程 ,  马征 ,  黄博 ,  何亮 ,  戴新宇 ,  黄书剑 ,  陈家骏

IPC: G06V10/74 ,  G06V10/80 ,  G06N20/00

Abstract: 本发明提供了一种对图像描述的结果进行自动评估的方法，包括：步骤1，分别抽取图像和文本的场景图；步骤2，利用多模态预训练模型CLIP对相关元素进行编码；步骤3，计算得到句子质量评价的最终分数。本发明基于场景图来辅助判断图像和文本之间的一致性，提高了无标注场景下质量评价的可信度；本发明使用CLIP模型对图像、文本、场景图进行编码，不仅确保了语义空间的一致性，大大提高了场景图相似度比较的准确性，还保证了编码能力的可更新性。

公开(公告)号：CN114912512A

公开(公告)日：2022-08-16

申请号：CN202210392208.7

申请日：2022-04-14

Applicant: 南京大学

Inventor： 张建兵 ,  马海程 ,  马征 ,  黄博 ,  何亮 ,  戴新宇 ,  黄书剑 ,  陈家骏

IPC: G06K9/62 ,  G06V10/74 ,  G06V10/80 ,  G06N20/00

Abstract: 本发明提供了一种对图像描述的结果进行自动评估的方法，包括：步骤1，分别抽取图像和文本的场景图；步骤2，利用多模态预训练模型CLIP对相关元素进行编码；步骤3，计算得到句子质量评价的最终分数。本发明基于场景图来辅助判断图像和文本之间的一致性，提高了无标注场景下质量评价的可信度；本发明使用CLIP模型对图像、文本、场景图进行编码，不仅确保了语义空间的一致性，大大提高了场景图相似度比较的准确性，还保证了编码能力的可更新性。

公开(公告)号：CN115249317A

公开(公告)日：2022-10-28

申请号：CN202110379492.X

申请日：2021-04-08

Applicant: 南京大学

Inventor： 张建兵 ,  马海程 ,  何亮 ,  戴新宇 ,  黄书剑 ,  尹存燕 ,  陈家骏

IPC: G06V10/774 ,  G06N3/08

Abstract: 本公开涉及一种生成图像描述信息的方法和装置。包括：获取待处理的目标图像；将所述目标图像输入图像描述模型，输出所述目标图像的描述信息，所述图像描述模型被设置为根据样本图像和样本图像的描述信息之间的对应关系训练得到，其中，利用强化学习算法对图像描述模型进行二次训练。本公开利用样本图像和样本图像的描述信息之间的对应关系训练得到图像描述模型，并利用强化学习算法对图像描述模型进行二次训练，能够优化图像描述模型，提高图像描述模型输出的描述信息的准确度和流畅度。