-
公开(公告)号：CN112328782B
公开(公告)日：2022-08-09
申请号：CN202011219386.7
申请日：2020-11-04
Applicant: 福州大学
Abstract: 本发明涉及一种融合图像过滤器的多模态摘要生成方法，包括步骤：获取输入文本的隐藏表示，得到文本上下文向量；提取输入图像的全局图像特征向量，并进行加权和计算得到图像上下文向量；对文本上下文向量与图像上下文向量进行融合，得到多模态信息的融合向量；采用图像过滤器来过滤图像中的噪声，选择最显著的图像特征，对图像上下文向量进行权重更新，并得到更新后的融合向量；采用单向的长短期记忆网络作为解码器，将更新后的融合向量解码得到最终的文本摘要。本发明从图像信息和文本信息融合出发，充分利用不同模态的信息提高文本摘要质量，并且能够应用于更大规模数据集应用场景。
-
公开(公告)号：CN113609285A
公开(公告)日：2021-11-05
申请号：CN202110908524.0
申请日：2021-08-09
Applicant: 福州大学
Abstract: 本发明提出一种基于依赖门控融合机制的多模态文本摘要系统，所述摘要系统的编码器模块包括文本编码器和图像编码器，分别用于获取输入文本的隐藏表示和提取图像的全局特征；所述摘要系统工作时，以注意力模块提取文本上下文单词之间的注意力关系和视觉上下文的注意力关系，并根据注意力权重加权计算得到文本和视觉上下文向量，通过依赖门控融合模块融合文本上下文向量和视觉上下文向量，最后以摘要解码器生成文本摘要；本发明能够提取图文模态数据的特征表示及图文数据中的深层语义信息，通过依赖门控融合机制融合多模态数据，最终生成包含两种模态信息的关键摘要。
-
公开(公告)号：CN112328782A
公开(公告)日：2021-02-05
申请号：CN202011219386.7
申请日：2020-11-04
Applicant: 福州大学
Abstract: 本发明涉及一种融合图像过滤器的多模态摘要生成方法，包括步骤：获取输入文本的隐藏表示，得到文本上下文向量；提取输入图像的全局图像特征向量，并进行加权和计算得到图像上下文向量；对文本上下文向量与图像上下文向量进行融合，得到多模态信息的融合向量；采用图像过滤器来过滤图像中的噪声，选择最显著的图像特征，对图像上下文向量进行权重更新，并得到更新后的融合向量；采用单向的长短期记忆网络作为解码器，将更新后的融合向量解码得到最终的文本摘要。本发明从图像信息和文本信息融合出发，充分利用不同模态的信息提高文本摘要质量，并且能够应用于更大规模数据集应用场景。
-
Patent Agency Ranking
公开(公告)号：CN113609285B
公开(公告)日：2024-05-14
申请号：CN202110908524.0
申请日：2021-08-09
Applicant: 福州大学
IPC: G06F16/34 , G06N3/0442 , G06N3/0455 , G06N3/0464 , G06N3/08
Abstract: 本发明提出一种基于依赖门控融合机制的多模态文本摘要系统，所述摘要系统的编码器模块包括文本编码器和图像编码器，分别用于获取输入文本的隐藏表示和提取图像的全局特征；所述摘要系统工作时，以注意力模块提取文本上下文单词之间的注意力关系和视觉上下文的注意力关系，并根据注意力权重加权计算得到文本和视觉上下文向量，通过依赖门控融合模块融合文本上下文向量和视觉上下文向量，最后以摘要解码器生成文本摘要；本发明能够提取图文模态数据的特征表示及图文数据中的深层语义信息，通过依赖门控融合机制融合多模态数据，最终生成包含两种模态信息的关键摘要。
-
公开(公告)号：CN113722439B
公开(公告)日：2024-01-09
申请号：CN202111016540.5
申请日：2021-08-31
Applicant: 福州大学
IPC: G06F16/33 , G06F16/35 , G06F16/36 , G06F40/211 , G06F40/216 , G06F40/30 , G06F18/24 , G06N3/0475 , G06N3/045 , G06N3/094 , G06N3/042 , G06N3/0464 , G06N3/048 , G06N3/0442 , G06N3/08
Abstract: 本发明涉及一种基于对抗性类别对齐网络的跨领域情感分类方法，包括以下步骤：从常识库中提取相关领域的知识，生成与文本相关的常识知识特征，来增强文本的语义；对历史上下文信息进行编码，生成具有上下文信息的原始句子特征；融合外部知识生成的文本相关的常识知识特征和原始句子特征，生成兼具特异性和泛化性的文本表示；基于对抗性类别对齐网络，在全局边缘对齐的先验条件下，进行类别级别的对齐；对融合的文本特征向量进行分类预测，实现情感类别的输出。该方法及系统有利于提高跨领域文
-
公开(公告)号：CN113641820B
公开(公告)日：2023-11-17
申请号：CN202110913656.2
申请日：2021-08-10
Applicant: 福州大学
IPC: G06F16/35 , G06F40/211 , G06F40/30 , G06N3/042
Abstract: 本发明涉及一种基于图卷积神经网络的视角级文本情感分类系统及方法，包括：文本预处理模块，用于对视角级文本进行特征化处理；文本语义信息获取模块，用于捕获文本的双向语义依赖关系；注意力编码模块，用于捕获文本单词序列的全局内部相关性，并进行进一步信息整合；图卷积神经网络模块，将GCN直接作用于句子依存关系树来建模句子结构，可将上下文和依赖信息从观点词传播到视角词；情感类别输出模块，用分类函数得到文本最终的情感分类结果。本发明可以有效发挥图卷积网络的作用，能够利用图卷积神经网络通过语义依赖树来建模句子结构，得到更好的文本情感特征表示。
-
公开(公告)号：CN113722439A
公开(公告)日：2021-11-30
申请号：CN202111016540.5
申请日：2021-08-31
Applicant: 福州大学
IPC: G06F16/33 , G06F16/35 , G06F16/36 , G06F40/211 , G06F40/216 , G06F40/30 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种基于对抗性类别对齐网络的跨领域情感分类方法，包括以下步骤：从常识库中提取相关领域的知识，生成与文本相关的常识知识特征，来增强文本的语义；对历史上下文信息进行编码，生成具有上下文信息的原始句子特征；融合外部知识生成的文本相关的常识知识特征和原始句子特征，生成兼具特异性和泛化性的文本表示；基于对抗性类别对齐网络，在全局边缘对齐的先验条件下，进行类别级别的对齐；对融合的文本特征向量进行分类预测，实现情感类别的输出。该方法及系统有利于提高跨领域文本情感分类的准确性。
-
公开(公告)号：CN113641820A
公开(公告)日：2021-11-12
申请号：CN202110913656.2
申请日：2021-08-10
Applicant: 福州大学
IPC: G06F16/35 , G06F40/211 , G06F40/30 , G06N3/04
Abstract: 本发明涉及一种基于图卷积神经网络的视角级文本情感分类系统及方法，包括：文本预处理模块，用于对视角级文本进行特征化处理；文本语义信息获取模块，用于捕获文本的双向语义依赖关系；注意力编码模块，用于捕获文本单词序列的全局内部相关性，并进行进一步信息整合；图卷积神经网络模块，将GCN直接作用于句子依存关系树来建模句子结构，可将上下文和依赖信息从观点词传播到视角词；情感类别输出模块，用分类函数得到文本最终的情感分类结果。本发明可以有效发挥图卷积网络的作用，能够利用图卷积神经网络通过语义依赖树来建模句子结构，得到更好的文本情感特征表示。
-
-
-
-
-
-
-
Search Results
8
records
(took 0.015 seconds)
