基于双路特征编码器的图像描述方法及系统

    公开(公告)号:CN113642630B

    公开(公告)日:2024-03-15

    申请号:CN202110913660.9

    申请日:2021-08-10

    Applicant: 福州大学

    Abstract: 本发明涉及一种基于双路特征编码器的图像描述方法及系统,系统包括:一个场景图生成模块,用于根据输入图片构造场景图;一个图卷积神经网络模块,用于对场景图中的物体节点和关系节点进行编码;一个全局特征编码器,用于对物体节点进行辅助编码;一个特征融合模块,用于对图卷积神经网络和全局特征编码器编码的物体节点特征进行融合;一个基于双层LSTM的解码器模块,用于对经过图卷积神经网络和全局特征编码器共同编码的图节点特征进行解码,生成描述语句。本发明能够更好地根据图像生成描述语句。

    一种融合多级语义信息的多模态讽刺识别系统方法

    公开(公告)号:CN113642332B

    公开(公告)日:2023-11-14

    申请号:CN202110919005.4

    申请日:2021-08-11

    Applicant: 福州大学

    Abstract: 本发明提出一种融合多级语义信息的多模态讽刺识别系统方法,所述方法通过融合多级语义信息来分析多模态数据,然后以讽刺识别模块来判别多模态数据中是否存在讽刺感;在生成多模态数据时,以特征提取模块提取图文数据的特征表示及图文数据的中级语义信息,以图文融合模块融合图文数据的特征表示并提取产生讽刺感的图文片段,以语义融合模块融合图文数据的中级、高级语义信息;本发明能够提取图文模态数据的特征表示及图文数据中的中级语义信息,通过注意力机制融合多模态数据,并关联图文模态的中级语义,分析多模态数据中是否存在讽刺感。

    基于定义、语法并融合协同注意力的论辩挖掘方法及系统

    公开(公告)号:CN116186638A

    公开(公告)日:2023-05-30

    申请号:CN202211628358.X

    申请日:2022-12-17

    Applicant: 福州大学

    Abstract: 本发明提出基于定义、语法并融合协同注意力的论辩挖掘系统,包括:编码器模块,用于使用双向LSTM学习上下文信息;特征提取模块,用于使用堆叠的BiLSTMs、序列自注意机制和辅助softmax层对词向量进行特征提取,作为针对消失梯度问题的隐式辅助;梯度反转调节模块,用于使用梯度反转层来捕获类不变的特征;平行协同注意力定义对齐模块,用于使用基于残差融合粗粒度并行协同注意力的机制来发现输入文本关于主张和非主张的定义准则的不同关联特征;注意力正交投影学习与输出模块,用于通过注意正交投影层合并类不变特征和输入文本关于主张定义准则及非主张定义准则的特征,并经过softmax激活函输出分类结果;本发明能够高效地利用语法和关于主张的定义来进行主张检测。

    基于双路双层特征编码器的图像描述系统

    公开(公告)号:CN116129230A

    公开(公告)日:2023-05-16

    申请号:CN202211634700.7

    申请日:2022-12-19

    Applicant: 福州大学

    Abstract: 本发明涉及一种基于双路双层特征编码器的图像描述系统,包括基于几何与视觉的融合模块,用于嵌入图像特征的位置信息;基于自注意力网络的特征增强编码器模块,结合区域特征和网格特征,互补增强特征融合;基于双层Transformer的特征融合编码器模块,用于对区域特征和网格特征进行建模融合;基于多元残差网络的特征融合模块,对特征融合编码器模块的输出进行融合,得到编码信息;基于Transformer的解码器模块,对编码信息进行解码。本发明能够更好地根据图像内容生成对应的描述语句。

    一种基于双路编码和精确匹配信号的观点检索系统

    公开(公告)号:CN116010553A

    公开(公告)日:2023-04-25

    申请号:CN202211628289.2

    申请日:2022-12-17

    Applicant: 福州大学

    Abstract: 本发明提供了一种基于双路编码和精确匹配信号的观点检索系统,包括:一个查询文本和文档文本预处理模块,对输入的查询和候选文档据进行预处理;一个查询文本和文档文本相关得分计算模块;一个查询文本和文档文本观点得分计算模块,通过预训练模型计算候选文档的观点得分;统一相关检索模块,用于根据相关检索模块得出的查询和文档的相关得分和根据观点得分模块获取文档的观点得分,最终计算文档的观点检索得分。本技术方案通过双路编码来获取局部语义信息和全局语义信息,能够通过融合并基于这些信息进行观点检索,通过精确匹配机制获取的精确语义信息能够提高查询与文档的相关性。

    基于双重图卷积神经网络的视角级文本情感分类系统

    公开(公告)号:CN115858788A

    公开(公告)日:2023-03-28

    申请号:CN202211634722.3

    申请日:2022-12-19

    Applicant: 福州大学

    Abstract: 本发明涉及一种基于双重图卷积神经网络的视角级文本情感分类系统,包括文本预处理模块,用于对视角级文本进行特征化处理;文本语义信息获取模块,用于捕获文本的双向语义依赖关系;注意力编码模块,用于捕获文本单词序列的全局内部相关性并生成文本语义关系图;相关语义图卷积神经网络模块,将GCN作用于文本语义图来建模句子结构;文本句法信息获取模块,用于捕获基于依存句法的文本信息;依存句法图卷积神经网络模块,将GCN直接作用于句子依存关系树来建模句子结构;双向映射模块,用于交换语义GCN与句法GCN信息之间的相关特征;情感类别输出模块,利用分类函数得到最终的情感分类结果。

    一种基于多任务联合学习的论辩挖掘系统及其工作方法

    公开(公告)号:CN110941700B

    公开(公告)日:2022-08-09

    申请号:CN201911161645.2

    申请日:2019-11-22

    Applicant: 福州大学

    Abstract: 本发明涉及一种基于多任务联合学习的论辩挖掘系统及其工作方法,包括数据预处理模块,进行数据预处理;文本嵌入模块,由CNN网络从词级别和字符级别提取特征表示,并联合任务特定特征作为下一模块的向量输入;联合学习模块,采用多任务学习中参数的硬共享机制,多个任务共享了一个模型的隐层,并行的进行模型的训练学习,此外使用栈式双向长短时记忆神经网络(LSTM)学习文本的上下文信息,用来完成序列标注任务;论辩挖掘标签预测输出模块,用于完成论辩挖掘论点类型预测工作,输出文本中论点的类型。本发明能够从论辩文本数据中学习高质量的文本特征,最终检测出文本所包含的论点的类型。

    基于生成对抗网络的零样本图像分类系统及其方法

    公开(公告)号:CN110795585B

    公开(公告)日:2022-08-09

    申请号:CN201911099493.8

    申请日:2019-11-12

    Applicant: 福州大学

    Abstract: 本发明涉及一种基于生成对抗网络的零样本图像分类模型,包括生成对抗网络模块,用于获取视觉误差信息;视觉特征提取网络处理模块,用于得到图像一维视觉特征向量;属性语义转换网络模块,用两层的线性激活层将低维的属性语义向量映射到与视觉特征向量维度相同的高维特征向量;视觉‑属性语义衔接网络,实现视觉特征向量与属性语义特征向量的融合;得分分类结果和奖励输出模块,采用交叉熵损失对已见过带标签的类别进行分类,而奖励输出是对未见过的无标签数据进行惩罚,以及惩罚无标签数据中见过的类别和未见过的类别最有可能性的预测结果。本发明能够有效的解决图像类别标签缺失问题。

    一种融合用户时间信息的微博客用户影响力排名方法

    公开(公告)号:CN108460499B

    公开(公告)日:2022-03-08

    申请号:CN201810281738.8

    申请日:2018-04-02

    Applicant: 福州大学

    Abstract: 本发明涉及一种融合用户时间信息的微博客用户影响力排名方法,包括步骤:(1)对微博客用户进行特征化处理;(2)根据微博客用户特征对所有用户集进行聚类,得到微博客中的潜在有影响力用户集;(3)对潜在有影响力用户集构建特定话题领域下的张量影响力模型;(4)利用张量分解重构新的张量影响力模型;(5)根据重构的张量影响力模型预测用户的影响力得分;(6)根据用户的影响力得分从高到低排序,得到用户的影响力排名结果并输出。本发明方法可提高特定话题领域下用户影响力预测精度。

    一种融合话题属性和情感信息的文本数据观点摘要挖掘方法

    公开(公告)号:CN108287922B

    公开(公告)日:2022-03-08

    申请号:CN201810165734.3

    申请日:2018-02-28

    Applicant: 福州大学

    Abstract: 本发明提供一种融合话题属性和情感信息的文本数据观点摘要挖掘方法,包括:对话题的文本语料集进行预处理;输入话题语料集和背景语料集;提取话题语料集的话题属性;将得到的话题属性添加情感极性,对句子向量化;将得到的话题属性作为评价对象,得出句子包含的情感属性特征,通过话题属性和情感分析方法将一个句子进行特征向量化;利用得到的话题属性集合、文本句子特征向量集合S构建三层图结构,把所有文本句子聚类;从类簇中挑选句子组成观点摘要,挑选得分高的句子组成观点摘要。本发明使得采用提取话题属性方法提取的话题属性更为精准,同样使其不仅仅应用与中文微博领域,更可以用于网站新闻、商品评论领域。

Patent Agency Ranking