一种基于视觉注意力的图像文本生成方法

    公开(公告)号:CN110111399A

    公开(公告)日:2019-08-09

    申请号:CN201910334588.7

    申请日:2019-04-24

    Inventor: 应捷 吴倩 胡文凯

    Abstract: 本发明涉及一种基于视觉注意力的图像文本生成方法,包括步骤S1:输入训练样本图像,获取训练样本图像的区域特征向量和区域空间特征向量;步骤S2:对训练样本图像的标注文本进行预处理,构建词汇库,并对词汇库中的单词进行编码得到每个单词的单词向量;步骤S3:将所述的训练样本图像的区域特征向量、区域空间特征向量和单词向量输入基于双向LSTM视觉注意力网络的图像语义理解模型,得到训练图像文本;步骤S4:通过反向传播算法优化训练所述的图像语义理解模型,得到最优模型;步骤S5:将测试图像输入所述最优模型得到测试图像文本。与现有技术相比,本发明能够结合历史信息和结合未来信息,并且能够在一定程度上修正之前关注的错误区域。

    卷积神经网络道路场景分类与道路分割方法

    公开(公告)号:CN109993082B

    公开(公告)日:2021-11-05

    申请号:CN201910211802.X

    申请日:2019-03-20

    Abstract: 本发明涉及一种卷积神经网络道路场景分类与道路分割方法,建立了基于卷积神经网络的双任务联合结构模型,由一个编码器、两个解码器组成,通过端到端训练,实现特征信息共享,完成对城市道路、乡村道路和高速公路等多种道路场景的分类,并对场景中的道路可行驶区域进行分割,达到道路场景分类和道路区域分割的双重目标。基于卷积神经网络,将道路场景感知中的场景分类与道路提取两重任务结合,通过端到端的训练模式得到实时输出,有益于完善智能驾驶辅助系统功能,提供有效可靠的驾驶辅助功能。其中模型里对可行驶区域提取的部分采用全卷积网络与条件随机场相结合的方式,能够产生高分辨率图像优化输出结果,达到较为精准分割效果。

    卷积神经网络道路场景分类与道路分割方法

    公开(公告)号:CN109993082A

    公开(公告)日:2019-07-09

    申请号:CN201910211802.X

    申请日:2019-03-20

    Abstract: 本发明涉及一种卷积神经网络道路场景分类与道路分割方法,建立了基于卷积神经网络的双任务联合结构模型,由一个编码器、两个解码器组成,通过端到端训练,实现特征信息共享,完成对城市道路、乡村道路和高速公路等多种道路场景的分类,并对场景中的道路可行驶区域进行分割,达到道路场景分类和道路区域分割的双重目标。基于卷积神经网络,将道路场景感知中的场景分类与道路提取两重任务结合,通过端到端的训练模式得到实时输出,有益于完善智能驾驶辅助系统功能,提供有效可靠的驾驶辅助功能。其中模型里对可行驶区域提取的部分采用全卷积网络与条件随机场相结合的方式,能够产生高分辨率图像优化输出结果,达到较为精准分割效果。

    一种基于视觉注意力的图像文本生成方法

    公开(公告)号:CN110111399B

    公开(公告)日:2023-06-30

    申请号:CN201910334588.7

    申请日:2019-04-24

    Inventor: 应捷 吴倩 胡文凯

    Abstract: 本发明涉及一种基于视觉注意力的图像文本生成方法,包括步骤S1:输入训练样本图像,获取训练样本图像的区域特征向量和区域空间特征向量;步骤S2:对训练样本图像的标注文本进行预处理,构建词汇库,并对词汇库中的单词进行编码得到每个单词的单词向量;步骤S3:将所述的训练样本图像的区域特征向量、区域空间特征向量和单词向量输入基于双向LSTM视觉注意力网络的图像语义理解模型,得到训练图像文本;步骤S4:通过反向传播算法优化训练所述的图像语义理解模型,得到最优模型;步骤S5:将测试图像输入所述最优模型得到测试图像文本。与现有技术相比,本发明能够结合历史信息和结合未来信息,并且能够在一定程度上修正之前关注的错误区域。

Patent Agency Ranking