一种利用时空注意力模型的视频内容描述方法

    公开(公告)号:CN107066973B

    公开(公告)日:2020-07-21

    申请号:CN201710250098.X

    申请日:2017-04-17

    Abstract: 本发明公开了一种利用时空注意力模型的视频内容描述方法。本发明通过利用时间注意力模型捕捉视频中全局时间结构的同时,利用空间注意力模型捕捉每一帧图片上的空间结构,目的是使视频描述模型在把握视频中主体事件的同时增强对局部信息的识别能力。具体的:首先对视频格式进行预处理;其次建立时空注意力模型;最后对视频描述模型进行训练和测试。本发明通过利用时间注意力模型,在保留视频中主要的时间结构的同时,利用空间注意力模型在每帧图片中重点关注一些关键区域,使得生成的视频描述能在把握视频内容中主体事件的同时捕捉一些关键但有容易忽略的细节信息。

    一种利用时空注意力模型的视频内容描述方法

    公开(公告)号:CN107066973A

    公开(公告)日:2017-08-18

    申请号:CN201710250098.X

    申请日:2017-04-17

    Abstract: 本发明公开了一种利用时空注意力模型的视频内容描述方法。本发明通过利用时间注意力模型捕捉视频中全局时间结构的同时,利用空间注意力模型捕捉每一帧图片上的空间结构,目的是使视频描述模型在把握视频中主体事件的同时增强对局部信息的识别能力。具体的:首先对视频格式进行预处理;其次建立时空注意力模型;最后对视频描述模型进行训练和测试。本发明通过利用时间注意力模型,在保留视频中主要的时间结构的同时,利用空间注意力模型在每帧图片中重点关注一些关键区域,使得生成的视频描述能在把握视频内容中主体事件的同时捕捉一些关键但有容易忽略的细节信息。

Patent Agency Ranking