公开(公告)号：CN107066973B

公开(公告)日：2020-07-21

申请号：CN201710250098.X

申请日：2017-04-17

Applicant: 杭州电子科技大学

Inventor： 颜成钢 ,  涂云斌 ,  张曦珊

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种利用时空注意力模型的视频内容描述方法。本发明通过利用时间注意力模型捕捉视频中全局时间结构的同时，利用空间注意力模型捕捉每一帧图片上的空间结构，目的是使视频描述模型在把握视频中主体事件的同时增强对局部信息的识别能力。具体的：首先对视频格式进行预处理；其次建立时空注意力模型；最后对视频描述模型进行训练和测试。本发明通过利用时间注意力模型，在保留视频中主要的时间结构的同时，利用空间注意力模型在每帧图片中重点关注一些关键区域，使得生成的视频描述能在把握视频内容中主体事件的同时捕捉一些关键但有容易忽略的细节信息。

公开(公告)号：CN107038221A

公开(公告)日：2017-08-11

申请号：CN201710174883.1

申请日：2017-03-22

Applicant: 杭州电子科技大学

Inventor： 涂云斌 ,  颜成钢 ,  冯欣乐 ,  李兵 ,  楼杰栋 ,  彭冬亮 ,  张勇东 ,  王建中

IPC: G06F17/30 ,  G06K9/46 ,  G06K9/00

Abstract: 本发明一种基于语义信息引导的视频内容描述方法。本发明包括如下步骤：步骤(1)对视频格式进行预处理；步骤(2)建立用于引导的语义信息；步骤(3)计算语义特征向量[Ai,XMS(i)]的权重步骤(4)对语义特征向量[Ai,XMS(i)]进行解码；步骤(5)对视频描述模型进行测试。本发明通过利用faster‑rcnn模型，能快速检测每帧图像上的关键语义信息，并加入到原有用CNN提取的特征中，使得每个时间节点输入LSTM网络的特征向量具有语义信息，从而在解码过程中，既保证视频内容时空关联性，又提高了语言描述的准确率。

公开(公告)号：CN107038221B

公开(公告)日：2020-11-17

申请号：CN201710174883.1

申请日：2017-03-22

Applicant: 杭州电子科技大学

Inventor： 颜成钢 ,  涂云斌 ,  冯欣乐 ,  李兵 ,  楼杰栋 ,  彭冬亮 ,  张勇东 ,  王建中

IPC: G06F16/783 ,  G06K9/46 ,  G06K9/00

Abstract: 本发明一种基于语义信息引导的视频内容描述方法。本发明包括如下步骤：步骤(1)对视频格式进行预处理；步骤(2)建立用于引导的语义信息；步骤(3)计算语义特征向量[Ai,XMS(i)]的权重步骤(4)对语义特征向量[Ai,XMS(i)]进行解码；步骤(5)对视频描述模型进行测试。本发明通过利用faster‑rcnn模型，能快速检测每帧图像上的关键语义信息，并加入到原有用CNN提取的特征中，使得每个时间节点输入LSTM网络的特征向量具有语义信息，从而在解码过程中，既保证视频内容时空关联性，又提高了语言描述的准确率。

公开(公告)号：CN107066973A

公开(公告)日：2017-08-18

申请号：CN201710250098.X

申请日：2017-04-17

Applicant: 杭州电子科技大学

Inventor： 涂云斌 ,  颜成钢 ,  张曦珊

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种利用时空注意力模型的视频内容描述方法。本发明通过利用时间注意力模型捕捉视频中全局时间结构的同时，利用空间注意力模型捕捉每一帧图片上的空间结构，目的是使视频描述模型在把握视频中主体事件的同时增强对局部信息的识别能力。具体的：首先对视频格式进行预处理；其次建立时空注意力模型；最后对视频描述模型进行训练和测试。本发明通过利用时间注意力模型，在保留视频中主要的时间结构的同时，利用空间注意力模型在每帧图片中重点关注一些关键区域，使得生成的视频描述能在把握视频内容中主体事件的同时捕捉一些关键但有容易忽略的细节信息。