公开(公告)号：CN115934932A

公开(公告)日：2023-04-07

申请号：CN202211628261.9

申请日：2022-12-17

Applicant: 福州大学

Inventor： 廖祥文 ,  林于翔 ,  徐攀 ,  吴海杰 ,  李凯强

IPC: G06F16/34 ,  G06F16/583 ,  G06F40/284 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/08 ,  G06N3/084

Abstract: 本发明提出一种基于多模态关键信息分析的摘要生成系统，包括以下模块；文本编码器模块，用于获取文本的编码信息；图像编码器模块，用于获取图像不同角度上的特征信息；选择门控机制模块，用于挖掘文本和图像模态的关键信息，包括多模态选择门控网络和视觉选择门控网络；多头选择注意力模块，用于挖掘图像中的关键对象信息；多模态特征融合模块，用于获取多模态上下文表示；解码器模块，用于生成摘要语句；所述系统在生成摘要时，引入图像的对象信息，同时将文本压缩的多模态关键信息提取过程同时分担给编码端；本发明通过挖掘文本和图像的关键信息，建模对象与文本序列之间的相互依赖关系，以突出图像的关键对象信息，从而生成高质量的文本摘要。

公开(公告)号：CN113609285A

公开(公告)日：2021-11-05

申请号：CN202110908524.0

申请日：2021-08-09

Applicant: 福州大学

Inventor： 廖祥文 ,  朱雨航 ,  郭星宇 ,  曾梦美 ,  林于翔

IPC: G06F16/34 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出一种基于依赖门控融合机制的多模态文本摘要系统，所述摘要系统的编码器模块包括文本编码器和图像编码器，分别用于获取输入文本的隐藏表示和提取图像的全局特征；所述摘要系统工作时，以注意力模块提取文本上下文单词之间的注意力关系和视觉上下文的注意力关系，并根据注意力权重加权计算得到文本和视觉上下文向量，通过依赖门控融合模块融合文本上下文向量和视觉上下文向量，最后以摘要解码器生成文本摘要；本发明能够提取图文模态数据的特征表示及图文数据中的深层语义信息，通过依赖门控融合机制融合多模态数据，最终生成包含两种模态信息的关键摘要。

公开(公告)号：CN115828142A

公开(公告)日：2023-03-21

申请号：CN202211628528.4

申请日：2022-12-17

Applicant: 福州大学

Inventor： 廖祥文 ,  徐攀 ,  林于翔 ,  沈鸿骁 ,  姚孟韬

IPC: G06F18/24 ,  G06F40/284 ,  G06F40/30 ,  G06N3/048 ,  G06N3/084 ,  G06N3/0442 ,  G06N3/0455

Abstract: 本发明提供一种基于双路编码器的可解释性文本分类系统，包括：包含一个预处理模块，用于对文本进行特征化处理；包含一个编码器模块，用于获取文本不同角度上的语义信息；包含一个分类器模块，用于输出文本分类结果；包含一个解释性信息生成器模块，用于输出文本分类结果的文本解释。应用本技术方案能够通过融合多头注意力与双向门控循环单元的语义表示，学习文本的多层次的语义信息，并使用二次注意力机制，解决查询和注意力结果不匹配问题，对编码的语义信息进行增强，从而较好地实现可解释性文本分类。

公开(公告)号：CN113609285B

公开(公告)日：2024-05-14

申请号：CN202110908524.0

申请日：2021-08-09

Applicant: 福州大学

Inventor： 廖祥文 ,  朱雨航 ,  郭星宇 ,  曾梦美 ,  林于翔

IPC: G06F16/34 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提出一种基于依赖门控融合机制的多模态文本摘要系统，所述摘要系统的编码器模块包括文本编码器和图像编码器，分别用于获取输入文本的隐藏表示和提取图像的全局特征；所述摘要系统工作时，以注意力模块提取文本上下文单词之间的注意力关系和视觉上下文的注意力关系，并根据注意力权重加权计算得到文本和视觉上下文向量，通过依赖门控融合模块融合文本上下文向量和视觉上下文向量，最后以摘要解码器生成文本摘要；本发明能够提取图文模态数据的特征表示及图文数据中的深层语义信息，通过依赖门控融合机制融合多模态数据，最终生成包含两种模态信息的关键摘要。

公开(公告)号：CN116129230A

公开(公告)日：2023-05-16

申请号：CN202211634700.7

申请日：2022-12-19

Applicant: 福州大学

Inventor： 廖祥文 ,  吴海杰 ,  刘翀凌 ,  林于翔 ,  黄智锋

IPC: G06V10/80 ,  G06V10/774 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明涉及一种基于双路双层特征编码器的图像描述系统，包括基于几何与视觉的融合模块，用于嵌入图像特征的位置信息；基于自注意力网络的特征增强编码器模块，结合区域特征和网格特征，互补增强特征融合；基于双层Transformer的特征融合编码器模块，用于对区域特征和网格特征进行建模融合；基于多元残差网络的特征融合模块，对特征融合编码器模块的输出进行融合，得到编码信息；基于Transformer的解码器模块，对编码信息进行解码。本发明能够更好地根据图像内容生成对应的描述语句。