公开(公告)号：CN113642630B

公开(公告)日：2024-03-15

申请号：CN202110913660.9

申请日：2021-08-10

Applicant: 福州大学

Inventor： 廖祥文 ,  吴君毅 ,  翁钰晨 ,  魏冬春 ,  吴海杰

IPC: G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/042 ,  G06N3/0442

Abstract: 本发明涉及一种基于双路特征编码器的图像描述方法及系统，系统包括：一个场景图生成模块，用于根据输入图片构造场景图；一个图卷积神经网络模块，用于对场景图中的物体节点和关系节点进行编码；一个全局特征编码器，用于对物体节点进行辅助编码；一个特征融合模块，用于对图卷积神经网络和全局特征编码器编码的物体节点特征进行融合；一个基于双层LSTM的解码器模块，用于对经过图卷积神经网络和全局特征编码器共同编码的图节点特征进行解码，生成描述语句。本发明能够更好地根据图像生成描述语句。

公开(公告)号：CN116129230A

公开(公告)日：2023-05-16

申请号：CN202211634700.7

申请日：2022-12-19

Applicant: 福州大学

Inventor： 廖祥文 ,  吴海杰 ,  刘翀凌 ,  林于翔 ,  黄智锋

IPC: G06V10/80 ,  G06V10/774 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明涉及一种基于双路双层特征编码器的图像描述系统，包括基于几何与视觉的融合模块，用于嵌入图像特征的位置信息；基于自注意力网络的特征增强编码器模块，结合区域特征和网格特征，互补增强特征融合；基于双层Transformer的特征融合编码器模块，用于对区域特征和网格特征进行建模融合；基于多元残差网络的特征融合模块，对特征融合编码器模块的输出进行融合，得到编码信息；基于Transformer的解码器模块，对编码信息进行解码。本发明能够更好地根据图像内容生成对应的描述语句。

公开(公告)号：CN113642630A

公开(公告)日：2021-11-12

申请号：CN202110913660.9

申请日：2021-08-10

Applicant: 福州大学

Inventor： 廖祥文 ,  吴君毅 ,  翁钰晨 ,  魏冬春 ,  吴海杰

IPC: G06K9/62 ,  G06N3/04

Abstract: 本发明涉及一种基于双路特征编码器的图像描述方法及系统，系统包括：一个场景图生成模块，用于根据输入图片构造场景图；一个图卷积神经网络模块，用于对场景图中的物体节点和关系节点进行编码；一个全局特征编码器，用于对物体节点进行辅助编码；一个特征融合模块，用于对图卷积神经网络和全局特征编码器编码的物体节点特征进行融合；一个基于双层LSTM的解码器模块，用于对经过图卷积神经网络和全局特征编码器共同编码的图节点特征进行解码，生成描述语句。本发明能够更好地根据图像生成描述语句。

公开(公告)号：CN115934932A

公开(公告)日：2023-04-07

申请号：CN202211628261.9

申请日：2022-12-17

Applicant: 福州大学

Inventor： 廖祥文 ,  林于翔 ,  徐攀 ,  吴海杰 ,  李凯强

IPC: G06F16/34 ,  G06F16/583 ,  G06F40/284 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/08 ,  G06N3/084

Abstract: 本发明提出一种基于多模态关键信息分析的摘要生成系统，包括以下模块；文本编码器模块，用于获取文本的编码信息；图像编码器模块，用于获取图像不同角度上的特征信息；选择门控机制模块，用于挖掘文本和图像模态的关键信息，包括多模态选择门控网络和视觉选择门控网络；多头选择注意力模块，用于挖掘图像中的关键对象信息；多模态特征融合模块，用于获取多模态上下文表示；解码器模块，用于生成摘要语句；所述系统在生成摘要时，引入图像的对象信息，同时将文本压缩的多模态关键信息提取过程同时分担给编码端；本发明通过挖掘文本和图像的关键信息，建模对象与文本序列之间的相互依赖关系，以突出图像的关键对象信息，从而生成高质量的文本摘要。

公开(公告)号：CN115830619A

公开(公告)日：2023-03-21

申请号：CN202211616460.8

申请日：2022-12-15

Applicant: 福州大学

Inventor： 廖祥文 ,  刘翀凌 ,  杨思源 ,  吴海杰 ,  郑鹏程

IPC: G06V30/41 ,  G06V30/18 ,  G06V30/19 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及一种基于特征融合的类别文本生成系统。所述系统包括：一个类别文本预处理模块，用于对类别文本的向量化处理；一个多路注意力模块，在生成器中利用多种注意力机制学习文本的注意力表示；一个生成器融合输出模块，将多种注意力表示融合并输出生成文本；一个局部语义特征提取模块，用于判别器提取文本的局部依赖特征；一个全局语义特征提取模块，用于判别器提取文本的长距离依赖特征；一个判别器融合输出模块，将文本的局部和长距离依赖特征融合并反馈给生成器判别结果。