一种基于双向循环神经网络和深度输出的视频描述生成方法

    公开(公告)号:CN110418210A

    公开(公告)日:2019-11-05

    申请号:CN201910632009.7

    申请日:2019-07-12

    Applicant: 东南大学

    Inventor: 董林滔 黄永明

    Abstract: 本发明公开了一种基于双向循环神经网络和深度输出的视频描述生成方法。该方法主要内容是:首先对视频进行等间隔抽帧处理,再使用卷积神经网络对等间隔抽取的视频每一帧图像进行图像特征提取;将图像特征输入编码器,编码器采用了双向循环神经网络和长短期记忆单元;将编码器在所有时间步的输出通过注意力机制输入到解码器,解码器应用了深度输出;解码器在每个时间步生成一个词向量,该向量某个维度上的数据代表词汇表中某个词汇出现的概率大小,选取概率最大的单词作为当前时间步的生成单词,直到生成结束符时结束描述语句的生成,从而将视频转化为描述语句。通过本发明可以实现对视频内容的自动描述,从而节省人力。

    一种基于卷积神经网络的车牌图像清晰化方法

    公开(公告)号:CN108549892B

    公开(公告)日:2022-02-11

    申请号:CN201810599569.2

    申请日:2018-06-12

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于卷积神经网络的车牌图像清晰化方法,能够对受到运动模糊影响的车牌图像进行清晰化,该方法包括以下步骤:建立一种轻量级的卷积神经网络模型,设置网络的结构和训练参数;制作卷积神经网络的训练集;训练卷积神经网络,得到网络的权重;基于卷积神经网络的训练模型,即可以对道路监控设备拍摄到的模糊车牌图像进行清晰化。本发明应用于刑侦和OCR识别等方面,针对一处道路监控设备,由于车辆的运动速度和出现位置不同,车牌图像的模糊程度和模糊角度在一定范围内变化,传统的去运动模糊方法无法有效处理,通过卷积神经网络的方法可以对车牌图像一定范围内的运动模糊进行清晰化,且具有较快的处理速度。

    一种基于卷积神经网络的车牌图像清晰化方法

    公开(公告)号:CN108549892A

    公开(公告)日:2018-09-18

    申请号:CN201810599569.2

    申请日:2018-06-12

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于卷积神经网络的车牌图像清晰化方法,能够对受到运动模糊影响的车牌图像进行清晰化,该方法包括以下步骤:建立一种轻量级的卷积神经网络模型,设置网络的结构和训练参数;制作卷积神经网络的训练集;训练卷积神经网络,得到网络的权重;基于卷积神经网络的训练模型,即可以对道路监控设备拍摄到的模糊车牌图像进行清晰化。本发明应用于刑侦和OCR识别等方面,针对一处道路监控设备,由于车辆的运动速度和出现位置不同,车牌图像的模糊程度和模糊角度在一定范围内变化,传统的去运动模糊方法无法有效处理,通过卷积神经网络的方法可以对车牌图像一定范围内的运动模糊进行清晰化,且具有较快的处理速度。

    一种基于双向循环神经网络和深度输出的视频描述生成方法

    公开(公告)号:CN110418210B

    公开(公告)日:2021-09-10

    申请号:CN201910632009.7

    申请日:2019-07-12

    Applicant: 东南大学

    Inventor: 董林滔 黄永明

    Abstract: 本发明公开了一种基于双向循环神经网络和深度输出的视频描述生成方法。该方法主要内容是:首先对视频进行等间隔抽帧处理,再使用卷积神经网络对等间隔抽取的视频每一帧图像进行图像特征提取;将图像特征输入编码器,编码器采用了双向循环神经网络和长短期记忆单元;将编码器在所有时间步的输出通过注意力机制输入到解码器,解码器应用了深度输出;解码器在每个时间步生成一个词向量,该向量某个维度上的数据代表词汇表中某个词汇出现的概率大小,选取概率最大的单词作为当前时间步的生成单词,直到生成结束符时结束描述语句的生成,从而将视频转化为描述语句。通过本发明可以实现对视频内容的自动描述,从而节省人力。

Patent Agency Ranking