公开(公告)号：CN112884019B

公开(公告)日：2023-11-21

申请号：CN202110123810.6

申请日：2021-01-29

Applicant: 辽宁科技大学

Inventor： 周自维 ,  王朝阳 ,  徐亮

IPC: G06V10/82 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/0442 ,  G06F40/216 ,  G06F40/284

公开(公告)号：CN112884019A

公开(公告)日：2021-06-01

申请号：CN202110123810.6

申请日：2021-01-29

Applicant: 辽宁科技大学

Inventor： 周自维 ,  王朝阳 ,  徐亮

IPC: G06K9/62 ,  G06F40/216 ,  G06F40/284 ,  G06F40/30 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于融合门循环网络模型的图像转语言方法，包括：将图像数据集中的图像随机纳入训练集，将训练集中的图像数据进行预处理获得适应卷积网络尺寸的图像和包含所有词向量的集合，并将预处理后的图像进行卷积得到图像输出向量；将图像输出向量与集合中的起始符合并作为融合门循环网络模型的输入，进入融合门循环网络模型后经过t0时间步产生第一隐藏层输出；将第一隐藏层输出与集合中的第一个词向量合并作为t1时间步的输入，进入融合门循环网络模型经过t1时间步获得第二隐藏层输出，如此循环迭代直至集合中所有词向量全部参与循环迭代过程，融合门循环网络模型训练完成；将待处理图像输入到训练完成的融合门循环网络模型中生成语言信息。