公开(公告)号：CN110688916A

公开(公告)日：2020-01-14

申请号：CN201910862713.1

申请日：2019-09-12

Applicant: 武汉理工大学

Inventor： 钟珞 ,  陈淑琴 ,  钟忺 ,  袁景凌 ,  李琳 ,  宋华珠 ,  黄文心 ,  谬永飞 ,  罗振军

IPC: G06K9/00 ,  G06N3/04 ,  G06F16/71 ,  G06F16/783

Abstract: 本发明公开了一种基于实体关系抽取的视频描述方法与装置，该方法包括以下步骤：1)获取视频数据集，并对视频进行特征提取；所述特征包括二维、三维特征以及二者的混合特征；2)对视频中出现的实体进行抽取，然后对实体关系进行向量化表征；3)根据提取的视频特征和实体关系表征，获得视频描述；4)提取视频的关键词，将关键词与多个视频描述进行结合，对所有生成的句子进行排序，排序最靠前的句子即为最终的视频描述。本发明方法通过抽取视频中的实体，生成实体关系并加入到词表中，解决语料不足的问题；通过attention机制和实体关系对句子生成进行改进，产生的视频描述句子能更加准确和恰当能还原视频所要表达的内容。