公开(公告)号：CN107038221A

公开(公告)日：2017-08-11

申请号：CN201710174883.1

申请日：2017-03-22

Applicant: 杭州电子科技大学

Inventor： 涂云斌 ,  颜成钢 ,  冯欣乐 ,  李兵 ,  楼杰栋 ,  彭冬亮 ,  张勇东 ,  王建中

IPC: G06F17/30 ,  G06K9/46 ,  G06K9/00

Abstract: 本发明一种基于语义信息引导的视频内容描述方法。本发明包括如下步骤：步骤(1)对视频格式进行预处理；步骤(2)建立用于引导的语义信息；步骤(3)计算语义特征向量[Ai,XMS(i)]的权重步骤(4)对语义特征向量[Ai,XMS(i)]进行解码；步骤(5)对视频描述模型进行测试。本发明通过利用faster‑rcnn模型，能快速检测每帧图像上的关键语义信息，并加入到原有用CNN提取的特征中，使得每个时间节点输入LSTM网络的特征向量具有语义信息，从而在解码过程中，既保证视频内容时空关联性，又提高了语言描述的准确率。

公开(公告)号：CN107038221B

公开(公告)日：2020-11-17

申请号：CN201710174883.1

申请日：2017-03-22

Applicant: 杭州电子科技大学

Inventor： 颜成钢 ,  涂云斌 ,  冯欣乐 ,  李兵 ,  楼杰栋 ,  彭冬亮 ,  张勇东 ,  王建中

IPC: G06F16/783 ,  G06K9/46 ,  G06K9/00

Abstract: 本发明一种基于语义信息引导的视频内容描述方法。本发明包括如下步骤：步骤(1)对视频格式进行预处理；步骤(2)建立用于引导的语义信息；步骤(3)计算语义特征向量[Ai,XMS(i)]的权重步骤(4)对语义特征向量[Ai,XMS(i)]进行解码；步骤(5)对视频描述模型进行测试。本发明通过利用faster‑rcnn模型，能快速检测每帧图像上的关键语义信息，并加入到原有用CNN提取的特征中，使得每个时间节点输入LSTM网络的特征向量具有语义信息，从而在解码过程中，既保证视频内容时空关联性，又提高了语言描述的准确率。